Program Friday 12.10.2018: Workshops & round table discussions

These notes are partly in Finnish, partly English


Round table discussion: Learning analytics - processing student data and GDPR (Annette Baumann, ZKI, Germany)

  • World cafe työskentely, keskustelua seuraavien väittämien ympärillä:
    • We always need student consent to implement learning analytics.
    • Learning analytics in old wine in new skin - we are merely updating the technology to do the kind of reporting we always did.
    • Student attendance in an assurate predictor or performance.
    • The basic factors for study success are already known (OECD study) without any further ado.
    • GDPR in a barrier to effective analytics.
    • Only students should see their own data, even if they are at risk to fail or drop out.
    • Tutors should only be able to see aggregated data.
    • Pseudonymized or aggregated data is useless.
    • Learning analytics is only for online courses or online learning platforms.
    • We never can measure pedagogy with quantitative data.
    • Learning in highly individual, it's possible to take useful actions just because of data streams.
    • Learning analytics is useful/necessary to modify basic factors/improve study conditions overall.

Esimerkkikuva työskentelyn tuloksista: IMG_20181012_102048.jpg

Workshop: Learning analytics and classroom practice or data- informed learning design (Paul Bailey, Jisc UK & Gill Ferrell, EUNIS)

  • Miten tukea opiskelijoiden opiskelutaitojen kehittymistä, kun niin monia eri taustoja 
  • Opettajalle olisi tärkeä saada tietoa siitä, mitä opiskelija jo osaa ja millaista osaamista hän on aiemmin kerännyt esim. opinnoissa, työelämässä, vapaa-ajalla
  • Korkeakouluissa haasteena opiskelijoiden tunteminen ja osaamisen tunnistaminen
  • Mistä saadaan dataa? 
    • Opiskelijapalaute (kurssipalaute, lukuvuosipalaute, kandipalaute ym), opettajapalaute, moodle statistiikka, opintosuoritusdata ym.
  • ABC malli voisi sopia korkeakouluopettajalle "perusmalliksi", joka ei esim. ole käynyt pedagogisia opintoja tai muuten ole liian kiinnostunut opetuksen suunnittelusta. 
  • Suomalaiseen järjestelmään peilaten LMS:n räätälöinti nousee keskeiseksi, kurssit hyvin erilaisia keskenään esim. opetustapojen sekä oppimistavoitteiden suhteen, siksi myös räätälöinti tärkeää, jotta opettaja saa sen kurssin kannalta relevanttia tietoa (jos mietitään esim. drop out uhkaa) 
  • Toisaalta olisiko tärkeämpää tarkastella drop out uhkaa mieluummin pidemmällä aikavälillä kuin yksittäisen kurssin suhteen

Workshop: Developing an evidence-based institutional learning analytics policy (Yi-Shan Tsai, University of Edinburgh, SHEILA project)

  • Many organisations don't have a learning analytics policy yet but many are trying to form it and understand the role of LA better
  •  
  • Material from the workshop
  • Oman organisaation ulkoisten ja sisäisten "ajureiden" tunnistaminen
    • Korkeakouluilla esim. rahoitusmallit
    • CSC:llä?
      • CSC:n strategia ja toiminnan kehittäminen
      • Rahoitus
      • asiakkaiden tavoitteet ja niiden tukeminen
      • OKM:n asettamat tavoitteet
  • Haasteita
    • Tietosuoja
    • Panostus liikaa tiettyyn opiskelijaryhmään - miten tukea yhtä hyvin drop out uhan alla olevia kuin boostata hyvin pärjääviä opiskelijoita eteenpäin
  • Mihin asioihin pitäisi kyetä vastaamaan? 
  • Mitä muutosta LA:n avulla pitäisi luoda? Mitkä muutokset ovat organisaatiolle tärkeitä?
    • Korkeakouluissa tavoitteena mm. opiskelijan valmistuminen, helpottaa opiskelua, datalla "hallinnan tunnetta" ja tukea ohjaamiseen, analytiikka suunnittelun tueksi 
    • Opiskelijan intressi? Opiskelijalle näkemystä siitä, millainen opiskelija on, miten toimii, oman datan seuraaminen
      • Ajanhallinta: kuinka kauan menee tietyn asian tekemiseen (esim. 5 op kurssi tai tentti tms), miten pitäisi toimia, että saa tietyn arvosanan.
      • Analytiikka opinto-ohjauksen tukena 

Round table discussion: Learning analytics: the importance of standards (Markus Gylling, IMS Global Consortium)

  • IMS introduction (~500 members, 1 from Finland)
    • Open badges framework, picture of process
    • LTI (keskusteluosuudessa tähän kiinnostusta useammalta suomalaiselta korkeakoululta, harkittu käytettäväksi, mutta eivät IMS:n jäseniä)
    • QTI benefits - standards for examinations
    • One roster & common cartridge
      • Standarts for student information systems (EDU API), will be done with SURF
      • Tarkista (sertifioidut) tuotteet IMS:n webbisivuilta 
    • IMS Europe Summit, November 8-9 Netherlands (https://www.imsglobal.org/event/ims-europe-summit-2018)
  • Standarts for analytics: miksi standardeja käytetään? Järjestelmien välinen toiminta (semantic stability), aikaskaalat raportoinnissa, ...
    • xAPI (ADL → IEEE), used in EU by e.g. JISC and SURF, can be checked from GitHub (https://github.com/adlnet/xAPI-Spec)
    • Caliper (IMS Global), many different profiles/templates for different needs + certification tool, caliper code repos in GitHub
    • Activity Streams (Facebook → W3C), ei sovellu juurikaan oppimisen ja opetuksen alueelle
    • kaikki aika tuoreita; ei tiedetä onko osattu vielä kysyä oikeat kysymykset? 
    • Learning locker (open sourse), toimisiko Docker-konttien kanssa?
  • Scope of standards (KUVA), caliber kattaa ensimmäisen vaiheen (1) describe, collect, transport), xAPI kaikki kolme (1), 2) store, 3) analyze. visualize, report, share, predict, intervene, adapt)
  • Challenges: datan laatuun ei vielä luoteta organisaatioiden sisällä
  • Metrics for video analytics (esim)? 
    • Ei vielä olemassa, hyviä käytänteitä vähitellen
    • Esim. havaittu, että opiskelijoiden aktiivisuus (online activity) tärkeämpi mittari kuin klikkaukset
  • Best practices? 
    • Paul B.: Prosessi vie aikaa, mutta se kannattaa, esim. yksittäiset klikkaukset tai navigointidata ei anna tulkitsijalle juuri tietoa, mutta kun dataan lisätään kurssitiedot, aikaisempa käyttäytyminen vastaavissa tilanteissa, muiden opiskelijoiden vertailudata, datasta tulee hyödyllisempää. Standardeilla määriteltävissä mm, mikä on minimi datasetti, jolla tieto on hyödyllistä. JISK:llä xAPI yhteensopiva moodle-plugin (tarvitsisi enemmän käyttäjiä), IMS tarkistaa, onko laajennettavissa moodle roomsiin.
  • Caliper ↔ xAPI harmonisation: "Standardized vocabularies is a key deliverable ... how it gets to the store is 'secondary'" 
  • No labels

Korkeakoulutuksen ja tutkimuksen yhteistyöalustan tietosuojaseloste