Syksy 2019

Kokoukset joka toinen viikko torstaisin klo 9.30-10, EXAM-tuoteomistajaryhmän kokouksen lopuksi. 

5.12.2019

Mitä työpaketeissa on tapahtunut ja mitkä ovat seuraavat stepit?

• wp1: Omakonetentti

  • Opettaja
    1. Tentin luominen ok, muistettava määritellä tenttitilaisuus (olisiko selkeämpää, että tilaisuuden luonti olisi julkaisuasetuksissa?).
    2. Missä ohjeistetaan opettajaa SEBin konffitiedoston laatimisessa?
    3. Tenttiperiodi "turha" mutta hoidetaan ohjeistuksella.
    4. Ohjeisiin tärkeää kertoa opiskelijalle SEB ym.
    5. Varaukset eivät näy opettajan käyttiksellä.

    Opiskelija
    1. Ilmoittautuminen niin kuin normitentissä, paitsi valittava tenttitilaisuus.
    2. Varauksesta tulee vahvistus sähköpostiin, mutta tilatietoa ei ole.
    3. Tilatieto ei näy ilmoittautumistiedoissa opiskelijan kälissä.
    -> Opettajan merkattava tilatieto ohjeisiin, jolloin näkyy vahvistusviestissä ja varaustiedossa opiskelijan kälissä.
    4. Voiko tentin aloittaa niin kauan kuin tenttiaikaa on jäljellä?
    5. Miten varmistetaan, että SEB on asennettuna? Varoaikaa ennen tentin alkua, että ehtii vielä asentaa.

• wp3: Yhteiskäyttöisyys
  • Yhteistentti
    • Jatkomäärittelytyötä tehty
    • Psykan pilotti tulossa keväällä 2020
    • Syksyn erkkatentin kyselyn tulokset tulleet (parantunut tulos)
  • Tenttivierailu
    • Sopimus?
      • vielä muutama tietosuojavastaavan kommentti ennen kommenttikierrosta
    • Jatkokehitys
      • resurssivalikko ja työasemat 
        • admin hoitaa tilaohjeet kuntoon → ohjeistus
      • tilastot (oma välilehti, tenttivierailut osaksi tilakohtaisia tilastoja)
      • käyttösääntöjen hyväksynnän tekstit (jatkossa mietittävä)
    • Prosessit yhteiskäyttöön liittymiseen (tiedotus, omat proxyt)
• analytiikka
  • kyselyn tulokset koottu opettajien toiveiden jatkokehitys

Toimintatavat vuodelle 2020

• kokoukset kerran kuussa, alkukuusta katsaus edelliseen kuukauteen?

Digicampus-hanke

• muutoshakemus valmistelussa → viivästyy alkuvuoteen
• ensi vuoden yhteisistä tapahtumista ei ole tarkempaa tietoa vielä
• raportoinnista ei lisätietoja

21.11.2019

Jatkoaika: DigiCampus hakemassa jatkoaikaa, osahankkeen toiveena Autogradingin jatkuminen sekä kehitysrahan siirtäminen jatkoajalle

Roadshow Oulussa meni hyvin, seuraavana vuorossa Tampere. Koostetaan tarkemmin lopuksi.

7.11.2019

DigiCampus: jatkoaikaa ei vielä haettu, mutta hyvin luultavasti jatkuu puoli vuotta–1 vuosi

Mitä työpaketeissa on tapahtunut ja mitkä ovat seuraavat stepit?

• WP1: kehityksen alla omakonetentti, EXAM-muutoksia, toteutusta tehdään nyt & valmiina piakkoin, haasteena valinnaiset aihealueet & linkitetty paikkavaraus, keväällä pilotointiin 
• WP2: 16.10. kärkihanketapaamisessa Autograding-tutkimuksen etenemisestä, lisää yhteistyötä tenttiaineistojen tutkimuskäyttöön & testausvaiheeseen useasta tiedekunnasta testaajia, opiskelijoilla kysymyksiä tekoälyarvioinnista, yo-kunnan koposihteeri & yokunnalle puhumaan aiheesta alkukeväällä, tutkimustyö: kirjallisuusanalyysi jatkuu (sentence representation), työkalujen testaus suomenkielisiin aineistoihin, Li testaa työkaluja ja valmistelee artikkelia, kysymyksiä/keskustelua herännyt ihmistentaattorin vähenevästä roolista, työlistalle, perusesitys työpaketista, lähipäivien puheenvuoro: 30min, hankkeelle kasvot, ei liian teknistä tasoa, mihin työpaketissa pyritään
• WP3: yhteistentissä pieniä tikettejä, isommista linjauksista ensi viikolla to-ryhmässä, kierros edennyt rauhallisesti, oma toteutus arvioinnista, arvioinnissa mahdollisesti bugi, oikeustieteen pilotti: ei kysymyksiä/ongelmia ilmennyt, palautteen kerääminen, Lapin yliopiston pilotti: vanha versio (4), mutta toimii, osana tenttivierailupilotteja yhteiskäyttö otettu aikaisin käyttöön, yhteiskäyttöpalvelu & muodostuva rekisteri → yhteiskäyttöpalvelun palvelukuvaus, 
  • Kysymys tullut TUNIn helpdeskiin: Yhteinen exam-tentti eri yliopistojen välillä (TAU, Itä-Suomi, Turku, Jyväskylä, ehkä Helsinki), ei tukea automaattiselle arvioinnille yhteistentissä, "lisätietoa ja konsultaatiota exam-yhteistentistä eri yliopistojen välillä" → Taru voi olla yhteydessä
• Analytiikka: 130 vastausta, mutta ei vielä analysoitu, lähipäiville kooste/puheenvuoro, webinaari "EXAMin kertomaa – analyysista apua opettajalle" 13.12. → ei vielä kuvausta, webinaarit exam-kanavalla 

Roadshow:

• kooste lähipäiville

24.10.2019

Ohjausryhmän lokakuun tapaaminen siirrettiin pe 8.11. → kk-katsaus marraskuun alkuun

Roadshow

• Opettajille flyer
• Haalarimerkkiohjeet ajastettuna blogiin ma 28.10. & roadshow'lla viitataan blogisivuun
  • julkinen some esim. insta, twitter (ei jodel!), tagit & mahdollisesti kuvat, näytä postaus
  • tai vaihtoehtoisesti käy kertomassa kokemuksesi korkeakoulusi tenttiyhteyshenkilölle
• Ilmoittautumistilanne 22.10.
  • Kuopio 49  
  • Turku 50 
  • Helsinki 61 
  • Oulu 38 
    
  • Tampere 43 
  • Yht. 227 

Mitä työpaketeissa on tapahtunut ja mitkä ovat seuraavat stepit?

• Analytiikka
  • kysely ei vielä suljettu, 130 vastannut
  • blogiteksti ennen joulukuun webinaaria

10.10.2019

Työpakettien kuulumiset DigiCampuksen kuukausikatsausta varten

Mitä työpaketeissa on tapahtunut ja mitkä ovat seuraavat stepit?

• WP1: Omakonetentti kehitysjonossa
• WP2: Autograding työ etenee
• WP3: Yhteiskäytöisyys: Yhteistentti - tenttivierailu
  • Tenttivierailusopimuksen DPA-liite valmisteilla → viivästyy  
  • Opetusyhteistyön pilotti meneillään, erkkakuulustelun uusi kierros meneillään
  • Jatkokehityksen priorisointia tarkennetaan yhteistentille
• Analytiikka:
  • kyselyyn 127 vastausta
  • koska uudet toiminnot mukaan? testausprosessin kehitys+ beta-teksti

Digikorkeakoulu2030-roadshow

• flyeri? ohjeet miten saat haalarimerkin?
• someta examista → haalarimerkki
• ilmoittautumiset 15-30 henkeä/paikkakunta

Laskutukset

• 01-07/2019 hyväksytty EXAM-johtoryhmässä: https://wiki.eduuni.fi/x/wKQLBw

12.9.2019

Työpakettien kuulumiset DigiCampuksen kuukausikatsausta varten

Mitä työpaketeissa tapahtui kesällä ja mitkä ovat seuraavat stepit?

• WP1: Ehdotus: "Omakonetentistä (BYOD) tehtiin kesällä esiselvitys sekä tekninen POC perustuen EXAMin käyttöön Safe Exam Browserin kanssa. POCin perusteella teknistä toteutusta jatketaan syksyllä 2019 ja salitentin pilotointi käynnistyy keväällä 2020. EXAM-työvaliokunta päätti, että toteutukselle teetätetään tietoturva-auditointi."  Synergiassa esitelty
  
  
• WP2: Autograding -prototyypin kehitystyö edistuu suunnitellusti. Olemme nyt vaiheessa jossa analysoidaan olemassa olevia tenttiaineistoja ja tutkitaan vaihtoehtoisia tapoja arvioida tekstin rakennetta. Menetelmässä hyödynnetään UTU:sta kerättyjä tenttejä ja vertaillaan samansisältöisten, mutta eri tenttivastauksissa olevien, lauseiden eroavaisuuksia. Näiden avulla pystymme opettamaan algoritmia tunnistamaan tekstiaineistoista keskeisiä asioita. Lähitulevaisuudessa kerätään tämän hetken tulokset ja analysoidaan ne. Tulosten perusteella valitaan lisää työkaluja tekstin arviointiin. Alkuvaiheen tavoitteenahan on käydä läpi suomenkieliseen tekstiin soveltuvia olemassa olevia työkaluja. Julkaisuja tulossa, Seppo Helle aloittaa, julkaisut, käyttöliittymä. 
  
  
• WP3: Yhteistentin jatkokehitystä määritettiin kesän aikana mm. käyttäjäkyselyiden ja työpajan avulla. TO-ryhmä linjasi saatujen vastausten perusteella jatkokehityksen suuntia, joista nostetaan seuraavaksi kolmen kärki tarkempaan määrittelyyn ja kehitykseen. Kolmen kärkeen kuuluvat tenttivierailu, opintojaksokytkös ja sen kautta suoritustiedon siirtyminen ja ylläpitäjän näkymän kehittäminen. Useamman arvioijan prosessin selkiyttäminen todettiin EL/EHL-kuulustelun omaksi tarpeeksi ja jätettiin yhteistentin peruskehitystyön ulkopuolelle. Syksyn 2019 aikana pyritään saamaan lisäksi muutama muu pilotti yhteistentille EL-kuulusteluiden lisäksi, keskustelut mahdollisten pilottien kanssa (oikeustiede, poliitiikkatiede ja vero-oikeus) ovat jo käynnissä, mutta ne eivät ole vielä varmistuneet.
  
  
• Analytiikka: Ehdotus: "Kesän aikana on työstetty analytiikkakokonaisuutta, ensimmäiset toiminnallisuudet ovat testattavana." APOA, kaksi ensimmäistä toiminnallisuutta: opiskelijan palautteen lukeminen, DC-hankerahoituksella osa.
  
• Osahankkeen koordinoinnissa on tapahtunut henkilövaihdos ja Karoliina Sipovaara tulee Lara Anastasioun tilalle.
  
  
• EXAMin uusin versio 5.1 julkaistiin kesäkuun alussa ja siinä oli useita yhteiskäyttöisyyttä tukevia ominaisuuksia, kuten esimerkiksi yhteiskäyttöisyysasetus sekä paljon korjauksia ja parannuksia yhteistenttiin sekä tenttivierailuun.
• 27.9. exam-johtoryhmän kokous, tarvitaan tarkat summat tammikuusta heinäkuun loppuun hyväksyttäväksi. Turun & Oulun yliopiston välillä sopimus laskuttamisesta. Selvitetään vielä tarkemmin ja ohjeistetaan.

Osahankkeen osallistuminen Digikorkeakoulu2030:een

• Tapahtumasivu
  • Kuopio 28.10.
  • Tampere 29.10.
  • Helsinki 15.11.
  • Oulu 18.11.
  • Tampere 28.11.
• Alustavan suunnitelman mukaan joka tilaisuudessa kaksi n. 1–1,5h työpajaslottia (joka paikkakunnalla samanlainen ohjelma)
  • Työpajojen alustavat aiheet
    • DC-oppimisympäristö ja sen tukipalvelut & Esteettömyys ja saavutettavuus
    • Laatua verkko-opetukseen  
    • Avoin oppimateriaali  
    • Opetusyhteistyön suunnittelu ja verkostojen tuen yhtenäistäminen (ml. Exam) 
• Millä kulmalla osahanke voisi osallistua? Onko osahankkeen edustajilla mahdollisuus/halu osallistua?
  • EXAM hankekokonaisuudelta kootaan esitys, tenttivierailu kärki, yhteistentistä mainos

8.8.2019

Digicampus hakemassa lisäaikaa ~6kk/1v, rahoitus pysyy samana mutta saattaa jakautua osahankkeiden kesken

→ pitää tehdä tarkka suunnitelma miten osahanke käyttää rahat

WP2 Autograding

• toiminta keskittyy tällä hetkellä erilaisten olemassa olevien ratkaisujen selvittämiseen, julkaisu tulossa pian
• tähdätään ensi vuoden kevääseen
• työpaketin esittäytyminen ja viestintä
  • webinaari?
  • roadshow?
• toiveena viestinnällisesti kytkeminen laajemmin osaksi Digicampusta
• rahoitukseen etsitään myös Digicampuksen ulkopuolisia lähteitä

 Kevät 2019

Osahankkeen asioita käsitelty osana EXAM-tuoteomistajaryhmän kokouksia 

9.1.2019

To-ryhmän lähitapaamisen yhteydessä Tampereella (etäosallistumismahdollisuus)

Join Zoom Meeting: https://cscfi.zoom.us/j/246913246

Agenda (luonnos) 

1. Työpakettien läpikäynti
   1. WP1
      1. Projektiryhmän kokoonpano muuttunut, Jussi Talaskivi siirtyy tukijoukkoihin, Anna Laattala ja Marianne Laapio mukaan projektiryhmään
      2. Safe exam browser asennettu yhdelle koneelle, aletaan tutkimaan tarkemmin miten toimii ja vertaillaan → tehdään käyttötapauskuvaus siitä, mitä kaikkea pitää olla jotta opiskelija pystyy tekemään omalla koneella ja kartoitetaan mitä examille pitäisi tehdä 
         1. ÄlyOppi-hankkeessa TTY:llä tenttitiloista halutaan saada Moodle käyttöön (examin tiloissa käytettäisiin moodlea). Safe exam browseria mietitty käytettäväksi Moodlen kanssa. Marjut keskustellut hanketoimijoiden kanssa. 
   2. WP2 Autograding
      1. Projektitilit ym auki ja kunnossa
      2. Aineistonkeruu alkanut, Turun ja Tampereen tenttisyhteyshenkilöihin oltu yhteydessä, aineistoa ei ole vielä käyty systemaattisesti läpi, mutta aineistoa on paljon ja varmasti saadaan sopivaa aineistoa. Ihmiset olleet hyvin kiinnostuneita myös toimimaan koekäyttäjinä protoversiolle. Edetessä katsotaan tarve tarkemmalle tietyntyyppiselle aineistolle, voidaan pyytää tarpeen mukaan erikseen. 
      3. Protoversio tulee ulos tämän vuoden aikana 
      4. Seuraavat askeleet: tutkimussuunnitelman tekeminen ja henkilöresurssien täyttäminen, pilotointisuunnitelma erikseen  
      5. Totti esittelee osahanketta Synergian tammikuun työpajassa 
   3. WP3
      1. Titta Koski poissa 29.1. asti. Erkkatentin toteutus ja pilotointi on auki.
      2. pilotoija tarvitaan, Fitech?, Oikeustieteet?
      3. 5.0.x ja yhteistentin testaus suunnitteluun
   4. WP4
      1. käytiin läpi luonnos projektisuunnitelmasta 
      2. kehitystyön osuus ei vielä tarkentunut, riippuu myös muiden työpakettien suunnitelmista 
      3. Analytiikka - voisiko olla yksi työpaketti? 
         1. analytiikkahankkeita nyt monta, osin päällekkäisiä, pitäisi saada synergiaa sujuvammaksi 
         2. yhteys APOA-hankkeeseen, Sanna 
         3. kehitysrajaa arvioinnin osahankkeen budjetista? 
   5. Jokaisesta työpaketista yksi dia ensi viikon keskiviikoksi (16.1.) 
2. Raportointi DigiCampus-hankkeelle
   1. Väliraportoinnin dl 31.1. 
   2. Työajan raportointi: riitääkö kirjaukset soleen? - Tarkennetaan tätä vielä kysymällä Oulusta
3. Viestintä ja tapahtumat
   1. Viestintä muille DC-osahankkeille: tarjotaan mahdollisuus keskustella examin hyödyntämisen mahdollisuuksista myös muissa hankkeissa/opetusalalla? 
      1. oikeustieteet jo kyselleetkin 
   2. Viestinnän tavoitteet hankkeen osalta ja examin osalta yleisemmin
      1. Opiskelijoiden tavoittaminen oppilaskuntien kautta 
      2. Siirtotentin markkinointi käyttäjien kautta ja suoraan johdolle (mandaatti) 
      3. Yhteinen materiaali (esim. blogissa) helpottaa korkeakoulujen omaa viestintää 
   3. Tapahtumat
      1. Exam-kulmalla pedaforumiin
      2. Analytiikasta joku osallistava tapahtuma 
      3. Jokaisella työpaketilla mahdollisuus järjestää joku oma työpaja tms. jos tarvetta, mutta täytyy olla selkeä tavoite 
      4. Pedagoginen puoli, sähköinen tenttiminen aiheena laajemmin → syksyllä? "Osaamisen arviointi 2030" 
4. Vuosisuunnittelu
   1. Osahankkeen asioita käydään läpi viikottain to-ryhmän kokouksissa, pidetään erikseen tarpeen mukaan pelkän projektiryhmän tapaamisia.