Muistiinpanot työpajasta

Aamupäivän puheenvuorot

Päivän avaus

Sanna Sintonen, EXAM-konsortion puheenjohtaja

• Exam 2019: 27 korkeakoulua, viime vuonna yli 108 000 suoritusta
• Ominaisuudet tehty opettajan työtä tukemaan & EXAM ylipäänsä sujuvoittaa opiskelijoiden tenttimistä
• Exam kehittyy osana DigiCampusta:
  • kansallinen näkökulma kehitykseen
  • Osahankkeet: Salitentti WP1, Älytentti WP2, Yhteistentti WP3, Projektikoordinaatio WP4
• Arvioinnin kehittäminen -osahankken tavoite: opiskelun joustavuus, EXAM yhteiskäyttöisyyden edistäminen...
• Omakonetentti, BYOD (WP1)
  • bring your own device, oppijan oman koneen sopiminen osaksi järjestelmää
  • kesällä ensimmäinen testi
• Tekoälytuettu esseen arviointi (WP2)
  • kieliteknologiaan perustuva suomenkielisen tekstin (esseen) automaattinen arviointi
• Yhteiskäyttö: yhteistenttimisen jatkokehitys (WP3)
  • korkeakoulut (opettajat) voivat yhdessä luoda & arvioida tentin, jonka eri korkeakoulun opiskelijat voivat suorittaa
  • pilotti erikoislääkärikuulusteluissa
• Yhteiskäyttö: Tenttivierailu (WP3)
  • oman korkeakoulun tentin suorittaminen toisen korkeakoulun tenttitilassa
  • kysytty ominaisuus opiskelijoiden puolesta
  • kysymys: missä vaiheessa tenttivierailusopimus?
    • oha-kierrokselta saatu kommentteja videovalvonnasta, Exam-konsortion kautta voidaan työstää loppuun, saadaan piakoin liikkeelle, lähtökohtaisesti kaikki mukaan
• Muita arvioinnin kehittämisen tarpeita, esim.
  • arviointi usean korkeakoulun yhteistyönä
  • tenttien sisällöt pedagogisesti, millaisia ovat tulevaisuuden tentit?

Ristiinopiskelu ja yhteiskäyttö

Liisa Kallio, Jyväskylän yliopisto 

• Ristiinopiskeluhankkeen taustaa
  • Tampereen yliopisto koordinoi, Metropolia & JY OKM:n rahoittama korkeakoulutuksen kehittämishanke
  • Ristiinopiskelun prosessien & hallinnollisen työn automatisoiminen → tietojen välittämistä korkeakoulujen järjestelmien välillä & vaatii myös korkeakoulujen järjestelmien kehittämistä
• Tenttivierailun konsepti
  • opiskelija suorittaa oman korkeakoulunsa opintoihin kuuluvan tentin jonkun toisen korkeakoulun exam-tenttitilassa
  • korkeakoulut voi päättää itsenäisesti ottaako käyttöön ja kuink amonta konetta anataa varattavaksi vierasopiskelijoille
  • ei voi rajata vain tiettyjen korkeakoulujen kesken
• Opettajan & opiskelijan näkökulma
  • opettaja
    • ei lisätyötä teknisesti
    • huolehtii ohjeet esim. jos tentin suorittamiseen vaaditaan joku apuohjelma
    • yhteiskäyttöpalvelu hoitaa tentin siirtymisen opiskelijalle tentin alkaessa & takaisin koti-EXAMiin arvointia varten
  • opiskelija:
    • varmistaa että omassa korkeakoulussa on käytössä tenttivierailu
    • tarkistaa käytännön ohjeet & tarvittavat ohjelmistot
    • sitoutuu kohdekorkeakoulun valvontaperiaatteisiin ja tilojen käyttöohjeisiin (5.1 ominaisuus)
    • tenttitilanteessa HAKA-kirjautuminen, yhteiskäyttöpalvelu siirtää tenttitiedot EXAMista toiseen
• Tenttivierailun pilotit
  • ensimmäinen vierailu tammikuussa 2019 (UEF → JY)
  • JY, UEF, Lapin YO, TY, TAU, OAMK
  • tavoitteena käyttöönoton laajennus 2019
  • kokemukset pääasiassa positiivista, todella odotettu ominaisuus
• Jatkokehitys
  • sopimukset valmisteilla 
    • henkilötietojen käsittely, ilmoittautuminen, käyttöehdot, tenttivalvonnan ja vilppitapausten käsittelyn periaatteet
  • käyttöönoton tuki
    • tekninen tuki CSC
    • executive summary käyttöönoton tueksi tulossa korkeakouluille (RiKe)
  • yhteinen ohjesivusto: https://e-exam.fi/exam-tenttivierailu  

Yhteistentin jatkokehitys

Taru Torssonen: Yhteistentti opettajien yhteistyössä & Case Kansallinen erikoislääkäritentti

Padlet: Mitä yhteistentti on? 

• Yhteistenttimisen pilottina kaksi kierrosta erikoislääkärikuulustelua 12.3.2019 & 23.4–7.5.2019
• Yhteistentti käytönnössä:
  • ylläpitäjä luo tenttipohjan, tentaattori lisää kysymykset
  • vastausten arviointi anonymisointi 
• Yhteistenttimisestä saatua palautetta 
  • 151 osallistujaa, vain 25 osallistunut sähköiseen tenttiin aiemmin
  • 94 halusi pidemmän tenttiajan (aiemmin 6h → nyt 3h)
  • 126 vastaajaa haluaisi suorittaa erikoislääkärikuulustelun jatkossakin sähköisenä
  • vahvuudet
    • tenttivastauksen käsittely helpompaa, jäsentely helpompaa
    • anonyymius
  • heikkoudet
    • tenttitilojen tiukat ja jäykät säännöt
    • tekniset ongelmat & bugit, tuen puuttuminen → luovat turvattomuuden tunnetta
    • ei tenttivierailua
  • mahdollisuudet
    • ajan resursointi
    • kysymystyyppien monipuolistaminen
  • uhat
    • tekniset ongelmat
• Kuulustelijat
  • vastausten lukeminen koneelta helpompaa
  • arvioinnin helppous, tentit mukana koneella & arviointi useamman henkilön kesken helpompaa
  • toiveena kysymyspankki
  • käyttöliittymään tullut kehityehdotuksia
  • yliopistojen ulkopuolisten käyttäjien tunnukset ym. hankala
• Yhteenvetona
  • vahvuudet ja heikkoudet hyvin samoja kuin tavallisessa sähköisessä tentissä
  • teknisiä haasteita oli mutta loppusuoralla hiotaan haasteet 
  • kehitysideoita:
    • tenttivierailu osaksi yhteistenttiä
    • kahden arvioijan yhtäaikaisen työskentelyn prosessin kehittäminen
    • teknisten huomioiden korjaaminen
  • palaute: mallivastaukset saman tien oman vastauksen kera
• Miksi yhteistentti?
  • kahden arvioijan hyödyt: työnjako, opiskelijan oikeusturva
• Yhteistentin tulevaisuus?
  • Mihin yhteistenttiä voidaan käyttää?
  • Millaisiin erikoistilanteisiin yhteistentin pitäisi taipua ja vastata?
  • Riittääkö pelkkä järjestelmäkehitys?

Salitentin jatkokehitys

Liisa Kallio

• Salitentti → laajemmin omakonetentti
• DC osahankkeessa tavoitteena selvittää voidaanko Examilla toteuttaa korkeakouluille soveltuva omakonetentti ja mihin tarkoitukseen omalla koneelle tehtävää tentti soveltuisi 
  • Safe exam browser valittu selvitettäväksi ratkaisuksi
• Tunnistetut käyttötapaukset
  1. Kurssiin/opintojaksoon/toteutukseen kuuluva tentti (kurssin opetustapahtumana)
  2. Opintojakson kokonaissuoritus (tai uusinta/rästitentti) yleisenä tenttipäivänä
• Miten Exam toimii - miten voisi toimia omakontenttimisen toteutuessa
• 
• Minlälaisia teknisiä ratkaisuja tarvitaan?
  • Examissa:
    • ip-rajauksien purkaminen ja tenttien kiinnittäminen tenttitapahtumaan
  • Safe exam browser
    • käynnistää tenttitapahtuman ja sulkee pois kaiken muun liikenteen koneelta
    • määritelty tentin aikana sallitut sovellukset: miten ne saadaan opiskelijan käyttöön?
  • Tenttitilanne
    • riittävät verkkoyhteydet ja sähkö
    • opiskelijan koneessa oltava safe exam browser asennettuna (ohjeistus tenttiä varatessa)
• Miten tästä eteenpäin?
  • vaatimusmäärittely EXAMin jatkokehitykselle
  • hankerahalla minimitoteutus (POC) kesän aikana (EXAM-kehittäjät)
  • POCin testaus (JY:n) testiympäristössä
  • päätös toiminnan toteuttamisesta EXAMiin
  • Tulevaisuusvisioita
    • Voisiko EXAM toimia sähköisenä pääsykokeena?
    • Voisiko EXAMissa tehdä kotitenttejä?

Muistiinpanot työpajatyöskentelystä

Työpajatyöskentelyn tavoitteena on hahmottaa minkälaisia toiveita ja tarpeita eri alojen opetusyhteistyössä nousee sähköisen arvioinnin kehittämiselle. 

Ryhmä 1

Keskustelun alustus: MEDigi, Kati Hakkarainen, Anna Levy, Sari Kuitunen

Fasilitaattorit: Titta Koski, Taru Torssonen

Muistiinpanot:  

MeDIGI sähköisten tentti- ja arviointimenetelmien kehittäminen

• Karttuvan tiedon testi taustalla: 3 kertaa vuodessa, 5 vuoden ajan testataan omaa osaamistaan (monivalinnalla) monta vaihtoehtoa, yksi vain oikein (tämä luotettavin testityyppi), ei vaadi valmistautumista. Kerätään kaikilta oppialoilta tietty määrä tehtäviä (sama jako joka kerta). TY tekee 175 tehtävää, HY ostaa testin muualta. Kuvaus, kysymys, vastausvaihtoehdot. Nykyinen Exam ei tähän täydellinen. Miinuspisteiden antomahdollisuus ja (vaikutusmahdollisuus) tulee olla.  
  • Testi tulee suorittaa samanaikaisesti kaikissa korkeakouluissa. 4000-4500 opiskelijaa kerralla. Omakonetentti ainoa mahdollisuus. Kuvien latausmahdollisuus tulee olla. Yksi vastuutiedekunta käsittelee tiedon ja lähettää datan. Tre valmis testiin, toinen puoli perinteisesti, toinen puoli sähköisesti. Safe Exam Browser ratkaisu Moodlen kylkeen toinen mahdollisuus. Aikataulu on hankkeen loppuun asti, mieluusti pilotointi vuoden 2020 aikana, keväällä. Kysymyspatteristossa nyt 3500 kysymystä.
  • Esimerkkitapauksessa Karttuvan tiedon tentti: arviointitulos heti tentin jälkeen, voidaan valittaa parin päivän ajan, jos joku tehtävä ei olekaan lähtökohtaisesti oikein. Tällöin annetaan uusi arviointi jälkeenpäin. Lisäksi vertailtavuus kansalliseen tenttiin, miten on mennyt itsellä. Lisäksi, miten oma osaamine karttuu tentistä toiseen?
• Toteutusmuoto Examissa: Omakonetentti yhteistentteinä tenttivierailun kera, muita vaihtoehtoja: HY:ssä perusopetuksessa ollaan siirtymässä Moodle (Sebi) tentteihin parin vuoden sisällä tai ostetaan vastaavanlainen softa ulkomailta (yhteistyössä kaikkien yliopistojen kanssa).
  • Millä laitteella omakonetenttiä voidaan suorittaa em. tapauksissa? Padien käyttö?
• Moodle: yhteisversiota ei ole vielä, testattavana Digicampuksen Moodle. Tehtävätyyppejä enemmän Moodlessa. Miten ratkaistaisiin Moodlen organisointi tenteille?
• Kansallisia arviointiratkaisuja ja –menetelmiä tulisi miettiä laajemminkin ja tästä säästyvien resurssien kohdentaminen esim. ohjaustyöhön. Tätä voisi olla useammallakin alalla.
  • Mitä kannattaa kysyä monivalinnalla, mitä kannattaa kysyä? Tästä olemassa tietoa ja dataa. Tentaattoreiden kysymysten tekijöitä tulee ohjeistaa ja kouluttaa (myös lähikoulutusta). Tenttipedagogiikka täytyy olla.
  • Miten sähköisiä tenttejä pitäisi kehittää tukemaan ja edistää oppimista pedagogisesti paremmin?  Panostaa kysymysten tekemiseen ja arviointiosaamiseen. Tenttipedagogiikka tärkeässä roolissa.
• Mooc: opiskelupolun alkuvaiheessa, sisäänheittokurssit, joiden kautta opitaan perusasiat. Arviointikäytännöt automaattisia, palaute välittömästi. Ei enää opiskelun loppuvaiheessa.

Ryhmä 2

Keskustelun alustus: FiTech, Pilvi Lempiäinen

Fasilitaattorit: Hely Lahtinen, Liisa Kallio

Muistiinpanot:

Tunnistettuja haasteita

• EXAM-työasemien erilaiset ohjelmistoresurssit 
  • työasemahallinta
  • erilaiset ohjelmistolisenssit rajoittavat (lisenssipoolin mahdollisuudet?)
    
  • olisiko ratkaisuna tenttikoneiden virtualisointi ja ohjelmistot keskitetyssä palvelussa, jolloin ohjelman voisi "hakea" opiskelijan oman koreakoulun koneelta eikä sen tarvitsi olla vieraskoreakoulun koneella
    
  • Tiettyjen verkko-osoitteiden sallinen Examiin: esim. Moodlessa olevan tentinavaaminen Exam koneella ja pilvipalveluissa oleviin materiaaleihin
• maantieteellinen kattavuus toivottavaa
• asioiden edistäminen joskus järkevämpää verkostojen kautta, ei EXAM-kehityksen kautta, vaikka EXAM olisi yksi ratkaisuista
  
• EXAMin kysymyspankin kehittäminen: omien kysymyksien käyttäminen myös yhteistenteissä, kysymysten siirrossa tuo-vie toiminnallisuuksien käyttömahdollisuus olisi hyödyllinen,
  
• tunnukset ja tunnistautuminen
• integraatioiden ratkaiseminen: yhteistentin luominen opintojaksokoodilla > suorituksen siirtäminen kotikorkeakoulun rekisteriin
• usein sähköinen tenttiminen on vain perinteisen paperitentin siirtäminen johonkin järjestelmään: pedagoginen kehittäminen tarpeen, palautetoimintojen kehittäminen sekä ohjlemistojen ja sähköisten materialien hyödyntäminen tentissä. Ohjelmistojen pitää olla tuttuja ja osa opetusta, tässä eroja eri koulujen välillä
  

Ryhmä 3

Keskustelun alustus: Oikeustieteen DigiPeda, Oskari Korhonen

Fasilitaattorit: Lara Anastasiou, Karoliina Sipovaara 

Muistiinpanot

Alustus oikeustieteen DigiPeda osa DigiCampus-hankeesta ja oikeustieteiden alasta

• Itä-Suomen yliopisto: useita kampuksia
  • UEFissa Etäopiskeluun ja etäopetukseen panostettu paljon maantieteellisen sijainninkin vuoksi
  • Strategisena valinta oikeustieteissä Joensuussa, että pyritään mahdollisimman paljon ajasta ja paikasta riippumattomuuteen. Perinteisistä paperisista tenttisalitenteista tullaan tulevaisuudessa luopumaan. 
  • vrt. Rovaniemellä iso osa opiskelijoista pk-seudulta, kandivaiheessa läsnäolovaatimus suuri
  • Ympäri Suomen laaja verkosto erityisesti avoimen yliopiston kautta, 1. vuoden 60op paketti
    • paljon suorituksia koko Suomesta yhteistyöoppilaitoksista
    • paperitentti valvotusti jopa lähetystöstä
• EXAM tenttivierailun toteuttaminen tällä hetkellä haastavaa, koska pks-seutu vielä ulkona järjestelyistä. Perinteistä tenttiä kaipaillaan vaikka osittain on jo siirrytty myös erilaisiin menetelmiin, esim. moodle-tentit, oppimispäiväkirjat
  • haasteena voi myös olla tenttikysymysten kiertäminen kun tenttiminen ajasta riippumatonta
• Opetusyhteistyö oikeustieteissä:
  • Jonkun verran opetusyhteistyötä suunniteltu, tenteille ei välttämättä tarpeita koska on helppo mennä vaihtoehtoisiin suoritusmuotoihin 
  • Ristiinopettaminen tällä hetkellä poliittisesti mahdotonta koska kaikissa oikeustieteellisissä opetetaan samat asiat → jos jossakin vaiheessa muuttuu esim. niin, että tiettyä erityisalaa opetetaan vain jossakin korkeakoulussa voi tulla tarve kehittää yhteisopetusta ja arviointia esim. yhteistentin suuntaan 
• Tutkinnon suoritusten luotettavuus tärkeää eli vilpin tunnistaminen 
• Kumulatiivinen osaamisen testaaminen, Suomessa oikeustieteessä ei ole lopputenttimisen kulttuuria → voi jäädä isoja aukkoja osaamiseen
• omakonetentti valvotusti, vähentää paperien lähettelemistä

Keskustelu

• Monia erilaisia opetus- ja arviointikulttuureita alasta ja korkeakoulusta riippuen
• Mikä on riittävä kontrolli sille, että opiskelija itse suorittanut kurssin/tentit - tulee vastaan monilla eri aloilla kun opetusyhteistyö lisääntyy 
• YleiSH-hankkeessa tehdään valtakunnallista testausta sairaanhoitajien erityisaloista, suoritetaan pikkasen eri aikaan samat soveltavat tehtävät eri ammattikorkeissa 
• opetusyhteistyössä järjestelmien välinen tiedonkulku: suoritus voidaan näyttää ristiinopiskelupalvelun kautta, mutta missä on arvioinnin tuloksen julkaisupaikka? 
• opetusyhteistyössä voi tulla eteen eri ohjeistukset eri oppilaitoksissa
• avoimuus vs. sulkeutuminen → mitkä asiat ovat julkisesti jaossa esim. ohjeistukset, ja mitkä taas järjestelmissä ja intrassa. Nyt menty taas kohti "intran uutta heräämistä", mutta samalla opetusyhteistyön lisääntyessä tiedon pitäisi tavoittaa myös muita kuin oman kk opiskelijoita
• Älytentin hyödyntäminen
  • x määrän tenttien jakaminen klustereihin sen mukaan miten samankaltaisia ne ovat, opettaja voisi hyödyntää niin, että arvioi nopeammin isoja tenttipaperimääriä 
  • oikeustieteissä voisi olla haastavaa sen kannalta, että kysymyksiä voi lähestyä hyvin monelta eri kannalta ja vertailu johonkin mallivastaukseen haastavaa - tekoälyä voisi hyödyntää enemmän ehkä lyhyissä tekstivastauksissa, jossa pitää löytyy tietty vastaus (yksi oikea vastaus), oikeat oikeustapaukset, mahdollistaisi pikkuesseitä joiden arviointi ei olisi niin työlästä
• Tekniikan puolella erityisesti välivaiheet pitäisi saada näkyviin 
  • Sekin, että vastaukset saa sähköisesti on jo iso asia 
• Oheisohjelmistot eri aloilla, täytyy testata case by case, kaikki ohjelmistot eivät sovi yhteen - tällä hetkellä korkeakoulukohtaista, mitä oheisohjelmistoja kukakin tarjoaa 
• AHOT-näytön tarpeet? työelämässä kerrytetyn osaamisen tunnistaminen
  • tentit nopea keino selvittää osaamista & näyttöä

Toiveita EXAMin kehitykseen

• Tenttivierailumahdollisuus kattavasti ympäri Suomen 
• Hybridmalli missä voisi mennä valvottuun tilaan, mutta tentti suoritettaisiin omalla koneella voisi olla yksi ratkaisu
• Nettimateriaalin tapauksessa turnitin tms plagioinnin estämiseen → laadunvarmistus
• Paperityön vähentäminen, sujuvampi tietojen siirto korkeakoulusta toiseen, myös laillinen puoli esim. henkilörekisterit 
  • Opiskelijalle tulokset nopeammin omaan järjestelmään nähtävästi 
• Ohjeistusta opiskelijoille käytäntöjen selvittämisestä, missä ohjeet sijaitsevat

Yhteenveto

Keskeiset nostot keskusteluista

• Opetusyhteistyöhankkeissa voidaan jo tunnistaa selviä sähköiseen arviointiin kohdistuvia tarpeita, osittain yhteneväisiä mutta myös toisistaan eriäviä tarpeita
• Tunnistettuja haasteita
  • Isot opiskelijamassat, esim. MEDigi hankkeessa kehitettävä karttuvan tiedon arviointi voi tarkoittaa monen sadan tai tuhansien opiskelijan samanaikaisen tentin järjestämistä 
  • Tenttien laadukkuus, esim. monivalintakysymysten tekeminen käytännössä oikein, jotta tentti on mahdollista suorittaa jouhevasti; tentin laadukkuus niin, että sillä voidaan mitata haluttavaa asiaa
• Tenttivierailusta ja yhteistentistä 
  • Ohjelmistoresurssit tenttivierailussa (erityisesti tekniikan alat) 
  • Pääsy EXAMista esim. Moodleen mahdollistaisi lisää kysymystyyppejä 
  • Hybridimalli: Omakonetenttimisen kautta joustavuutta tenttimisen paikan suhteen - omalla koneella valvottuun tilaan, jolloin tenttipaikaksi eivät rajoitu vain korkeakoulut vaan mukaan voidaan ottaa esim. opistot (vrt. esim. oikeustieteen opinnot) 
  • Jaettava tenttikysymyspankki opettajille 
  • Yhteistenteissä integraatiot: Suoritukset Examista eri korkeakoulujen opintotietojärjestelmiin 
  • Tenttivierailun maantieteellinen kattavuus keskeistä 
• Pedagoginen kehittäminen
  • opetusyhteistyön kehittäminen, entistä tiiviimmän yhteistyön mahdollistaminen 
  • Palauteprosessin kehittäminen Examin avulla, Examin mahdollistaa toimivan arviointitilanteen ja esim. palautteen paremman näkyvyyden
• Tekoälyn hyödyntäminen arvioinnissa
  • Teknisempien essee kysymysten arvioinnin tueksi, ei poista arvioijan työtä koska samaan vastaukseen voidaan päästä monella eri tapaa mutta helpottaa isojen massojen hallintaa ja vähentää "tylsää työtä" 
• Muita nostoja
  • Tenttikoneiden virtualisointi ja ohjelmistoresurssit 
    • mahdollisuuksien tutkiminen case-esimerkin kautta 
    • eri ohjelmistoresurssien käyttäminen xm-palvelimen kautta 
  • Kysymysten siirto toisesta järjestelmästä Examiin
  • Ohjeet: intrasta ulkoisille sivuille, ei pelkästään käytännön asiat vaan laajemmin esim. tenttikäytännöt ja kirjoitusohjeet