Sisällysluettelo:
Sisältö tiivistetysti sekä harkittavat parannukset
Avointen oppimateriaalien käytön edistäminen -projektisuunnitelman mukaisesti hankkeen lopussa käydään läpi LRMI-profiilin toimivuutta laadun näkökulmasta. Arviointia varten on käyty laadullisesti arvioiden läpi Avointen oppimateriaalien kirjastoon tallennettujen oppimateriaalien metatietoja. Lisäksi on huomioitu käyttäjiltä, Finna-yhteistyön ja -käyttäjähaastattelujen myötä tullut palaute sekä automaattisen metatiedottamisen poc-kokeilu.
Palautteen perusteella kuvailu koetaan paikoin haastavaksi, mutta ei kynnyskysymykseksi. Oppimateriaalien metatietojen läpikäynnin perusteella metatiedottamisessa on pääsääntöisesti onnistuttu. Kuvailussa on kuitenkin huomattavasti laadullista eroa: on ihmisiä jotka kuvailee runsaasti ja monipuolisesti ja ihmisiä, jotka pyrkii lisäämään vain vähimmäismäärän tietoja. Kenttien pakollisuus ja muiden käyttäjien tekemään metatiedottamiseen kannustaminen ovatkin olennainen osa metatiedon parantamista.
Automaattisen kuvailun pocin perusteella automaattisen kuvailun kevyt käyttöönotto ei parantaisi kuvailun laatua tai keventäisi kuvailua. Yso-sanaston perusteella automaattisesti luodut asiasanat eivät vastanneet käyttäjien itseantamia tai tuoneet lisää ymmärrystä aiheesta - pääasiallisesti ne olivat liian laajoja ollaakseen hyödyllisiä oppimaterialien kohdalla. Jotta automaattinen kuvailu rikastaisi ja tarkentaisi kuvailua, vaatisi se raskaampaa käyttöönotto- ja kehitysprojektia. Kuvailun sujuvoittamisessa tärkeämpää olisi keskittyä kouluttamiseen sekä saavutettavuuden avustamiseen alla olevia parannuskohteiden lisäksi.
Mahdolliset parannuskohteet:
- Metatietomallin ja sen implemetaation muutokset (huom. vain osa voidaan toteuttaa ylläpidon rahoituksella - mahdollisuus muutoksen aloittamiseen 2021 ja toteuttamiseen 2022)
- Tekijän roolin lisääminen metatietomalliin ja siihen sanaston valinta
- Tekijän tunnisteen lisääminen metatietomalliin ja käytettävien tunnisteiden valitseminen ja käyttöönotto AOE:ssa.
- Tämä potentiaalisesti lisää myös oppimateriaalien jakamisen huokuttelevuutta, tekijyyden luotettavuuden korostuessa. Toisaalta hyöty saattaa jäädä korkeakoulutukseen.
- Korkeamman tason oppiaine-luokituksen kehittäminen OPH:n kanssa (mahd. koulutusluokitus), siihen liittyvä kartoitustyö ja ammatillisen koulutuksen ja korkeakoulutuksen tarkennusten selvittäminen
- Kolmikielisyyden hyödyntämisen selvittäminen AOE-Finna-yhteistyössä (tunniste, termit kolmikielisinä)
- Muokkauksia tietojen syötössä AOE:ssa (implementaation muutokset)
- ohjeistuksen lisääminen tekijän nimi -kentän yhteydessä
- esimerkkikuvaus kuvaus-kentän alla
- kopioinnin estäminen asiasana-kenttään
- kestolle määre-ehdotukset kentän alle
- tavoitteen muuttaminen pakolliseksi kentäksi mikäli tukena on sanasto
- Materiaali on saavutettava -lisäys perustiedot-välilehdelle ja sen välittäminen accesibilty-kentässä
Ehdotan seuraavaa tarkastuskertaa vuoden 2021 loppuun. Silloin tulisi kiinnittää huomioita erityisesti
- Kohderyhmä-sanaston toimivuuteen
- Saavutettavuus-sanastojen toimivuuteen
- Kaupallisten toimijoiden tarpeiden laajemman huomioimisen tarpeeseen
- Omaehtoinen osaamisen kehittäminen -termin toimivuuteen ja ymmärrettävyyteen
- Mahdollisiin uudistuksiin, jotka vuonna 2021 toteutetaan tai joiden uudistus on vielä vaiheessa
Metatietokohtainen läpikäynti
Alla käydään läpi vain käyttäjien tallentamia metatietoja.
| Kenttä | Pakollisuus | Huomioita liittyen AOE:n implementaatioon | Huomioita liittyen itse malliin | Mahdollinen korjaus | Huomioita korjauksiin |
|---|---|---|---|---|---|
Oppimateriaalin nimi | pakollinen | - | - | - | - |
Tekijä | pakollinen | Paikoin virheellisiä tietoja: useampi tekijä putkessa tai väärin erotettu etu- ja sukunimi. | Tekijälle olisi paikoin tarve myös rooli-tiedolle (palautteessa ilmi tullut tarve erotella ainakin kuvittaja, kirjoittaja, toimittaja ja kääntäjä). Lisäksi tekijälle on toivottu yksilöivää tunnistetta, joko ISNIä tai ORCIDIa. Tämä toive on erityisesti korkeakoulusektorilta ja mahdollistaisi yhteistyön esm. Tiedejatutki.fi:n kanssa. Tekijä voi olla myös organisaatio (onko tämä haitallista pohtivat OPH:ssa). | Erotettu etu- ja sukunimi kenttä AOE:ssa Rooli-kentän lisäys ja CrediT-taksonomian tai vastaavan käyttöönotto Tekijän yksilöivän tunnisteen lisäys ja käyttöönotto malliin. | Ei ratkaise kaikkia virheitä CrediT-taksonomia ei sisällä kaikkea oppimateriaaleille tarpeellista |
Organisaatio | Organisaatiopalvelu tarjoaa organisaatiot hyvin tarkalla tasolla (esim. eri tiedekunnat tai koulutuksenjärjestäjän koulutuksen toteutuspaikat erikseen) | ||||
Kuvaus | pakollinen | Palautteessa tuotu esille, että kuvaukseen toivottaisiin esimerkki, jotta kuvaukset olisi yhdenmukaisia ja siten helppoja ymmärtää sisältö niiden perusteella | Esimerkkikuvaus kentän nimen alle | ||
Asiasana | pakollinen | Paikoin virheellisiä tietoja: useampi asiasana putkessa (kopioitu suoraan jostain) | Kopioinnin estäminen | Käyttäjälle epäloogista jos muissa kentissä (kuvaus) voi kopioida | |
Lisenssi | pakollinen | Tärkeää kannustaa myös lisenssin merkitsemiseen itse oppimateriaaliin jotta sen hyödyntäminen ilman metatietoja on selkeää | nykyinen muotoilu ei edesauta kaupallisten materiaalien käyttöehtojen merkitsemistä - tämä vaatisi oman koodiston, joka tuottaa yhteistyössä | Uuden, vaihtoehtoisen koodiston tuottaminen yhteistyössä kustantajien kanssa | Vaatii kaupallisten tahojen kiinnostusta |
Kieli | pakollinen | - | - | - | - |
Julkaisija | vapaaehtoinen | - | - | - | - |
Oppimateriaalin tyyppi | pakollinen | - | kaikki koodiston kentät käytössä - vähiten käyttöä kartalle. Datasetti-nimenä on hämmentänyt, mutta kerännyt myös käyttöä. Jatkossa voisi olla mahdollista yhdistää datasettiin blogi ja wiki, ja kartta ja kaavio kuvaan, mutta nykyinen käyttö ei vielä tähän kannustaisi. Useat oppimateriaalit laajoja, joten monen tyypin käyttö tyypillistä. | - | - |
Kesto | vapaaehtoinen | Kestoa syötetty vaihtelevin arvoin ja tavoin. | Numeraalinen kenttä + alasvetovalikko, josta valita määre (tuntia, minuuttia, opintopisteitä) | ||
Kohderyhmän ikä | vapaaehtoinen | - | - | - | - |
| Kohderyhmä | pakollinen | Finnan käyttäjätesteissä sanasto koettiin ettei se ole yksiselitteinen - tämä on tullut paikoin muutenkin esille. Kaikkiin kuitenkin on kuvailtu oppimateriaaleja. | Kohderyhmä-sanaston toimivuuden kartoittaminen loppukäyttäjien kanssa | ||
Pääasiallinen käyttötarkoitus | suositeltu | - | - | - | - |
Hyödynnetyt materiaalit | vapaaehtoinen | Käytetään tarkoittamaan sekä pohjamateriaaleja että lähdeviitteinä (tämä on LRMI:n mukaista, mutta voi olla epäselkeää hyödyntäjille koska näiden merkityksissä vivahde-ero) | |||
Oppimateriaali vanhenee | vapaaehtoinen | - | - | - | - |
| koulutusaste | pakollinen | - | Omaehtoinen osaaminen kehittäminen todettu osassa palautetta haastavaksi terminä - toisaalta se on kuitenkin otettu hyvin käyttöön. | Omaehtoinen osaamisen kehittämienn → Oman osaamisen kehittäminen? | - |
| oppiaine | pakollinen | Koodistoihin toivottu täydennystä: tieteenalat tarkemmiksi ja ammatilliseen puoleen perustutkintojen ja tutkinnon osien lisäksi myös ammattitutkinnot ja erityisammattitutkinnot. Lisäksi miettinnässä pitäisikö tulevat ja siirtymäajalla olevat tutkinnot poistaa. Myös esim. Medigi otti oman varantonsa tueksi käyttöön tarkemman luokittelun. Täysin vastaisesti tähän on toivottu myös selkeyttävää, yleisempää kategorisointia esim. Finna käyttäjähaastatteluissa. Haasteena tämän suhteen on erityisesti toinen aste ja haun käyttäminen ilman koulutusaste-rajausta. OPH ehdottanut koulutusluokitusta ylätason kategoriaksi. | Yläkategorian selvittäminen hakua varten sekä tarkennosten selvittäminen ammatilliseen ja korkeakoulutukseen | ||
| tavoite ja sisältö-alue | vapaaehtoinen | Käytössä vain 7-15% materiaaleista (koulutusasteittaisia eroja). Lukion- ja perusopetuksen materiaaleissa, joissa tavoitteita ja sisältö-alueita on laitettu, niitä on runsaasti per oppimateriaali (5-20). | Lukion ja perusopetuksen tavoitteet todettu osassa palautteessa olevan liian korkealla / yleispätevällä tasolla oppimateriaaleja varten. Osassa ne on nähty erityisen tärkeiksi. | Pakollisuus | Ei sovellu kaikille materiaaleille. Haastava koulutusasteilla joilla kenttään ei sanastoa. |
| aiempi osaaminen | vapaaehtoinen | - | - | - | - |
| opetussuunnitelma | vapaaehtoinen | Tämä on vähän käytetty, sen käyttöä voisi lisätä ottamalla sanastoja käyttöön josta voisi valita oman opetussuunnitelman - toisaalta onko tarpeellista? | |||
| Saavutettavuuden ominaisuudet | vapaaehtoinen | vain pienellä osalla oppimateriaaleista on merkitty saavutettavuustietoja. Toisaalta uuten ominaisuutena voi nyt merkitä näitä myös sosiaaliseen metadataan ja tämän vaikuttavuutta ei vielä voitu todeta käytännössä myöhäisestä implementaatiosta johtuen | useat termit ovat eivät ole vielä käytössä - termien uudelleen tarkastelu 2022 syytä harkita | Oma kohtansa, jossa voi todeta vain että materiaali on saavutettava | |
| Saavutettavuuden esteet | vapaaehtoinen |
Yleisiä huomioita:
- perusopetuksen ja toisen asteen osalta ePerusteista tulevaa tietoa ei ole saatavilla englanniksi - tämä vähentää kansainvälistä yhteentoimivuutta
- esikatselukuvien lisäämistä ei välttämättä huomata tai sitä ei nähdä tärkeäksi - Finnan tekemien käyttäjähaastattelujen perusteella esikatselukuvat ovat kuitenkin oleellisia oppimateriaalien valitsemisen kannalta. Haasteeksi koettiin myös kuvien laatu - tämä myös tekijöiden haaste, joka lienee yksi syy miksi niitä ei ladata.
- Mallin kaupallisia tai muita hyödyntäjiä varten kaivattaisiin vielä selkeytystä miksi ottaa käyttöön.
- tarve tuottaa oai-pmh:hon myös kaikki kieliversiot oppimateriaalin metatiedoista koodiston mukaan?
Tehtyjä parannuksia
Joitain parannuksia metatietojen syöttöön on tehty sitten kun viimeksi käsittelimme asiaa (toukokuussa). Tässä joitain listattuna:
- Useiden kenttien alle laitettu ilmoitus, että lisätäksesi tietoja kenttään, kirjoita sisältö ja paina enter. Tämä lisättiin kun käyttäjätesteissä havaittiin että oli tyypillistä että käyttäjä kirjoitti sisällön, muttei klikannut enter. Kentissä voi syöttää usean tiedon, joten enterin painamista ei voi poistaa prosessista.
- Asiasana- ja organisaatio-kentän tooltippejä muutettu sisältämään tieto, että niihin voi lisätä myös asiasanoja, joita sanastossa ei ole.
- Tiedoston ja linki vaihtoehtoisuutta korostettiin, siten, että syötettyään toisen, toinen kenttä lähtee kokonaan pois
- Lisäyksiä validointiin (eli sallittuihin merkkeihin)
- Ohjeistuksen uusiminen (uusittu ohjeistus täällä)
Automaattisen kuvailun -poc
Osana projektisuunnitelman toteutusta aoe-tiimi testasi automaattista kuvailua Annif-työkalulla. Kokeilu toteutettiin hyödyntäen Annifin testaukseen tarkoitettuja työkaluja AOE:ssa käytössä olevaa yso-asiasanastoa käyttäen. Testausmateriaaleiksi valittiin 10 materiaalia eri koulutusasteilta, oppiaineista ja eri formaateissa ja materiaalityypeissä. Video ja H5P -materiaaleissa Annifiin syötettiin pelkästään aoe:ssa kirjoitettu kuvaus-teksti.
Testauksen perusteella asiasanageneraattorit eivät rikasta kuvailua. Generaattorien asiasanat olivat yksipuolisia ja toistuivat epäloogisesti hyvin erilaisissa materiaaleissa. Ne saattoivat myös mennä täysin pieleen. Käyttäjien antamat asiasanat olivat kaikissa testausmateriaaleissa kuvaavampia ja "rikkaampia" kuin generaattorien (vrt. digipedagogiikka, eAMK, laatu - laatu, arviointi, itsearviointi). Testauksen perusteelle käyttäjälle jäisi iso vastuu toimimattomien asiasanojen poistamisessa ja täydentämisestä.
Jotta automaattinen kuvailu rikastaisi ja tarkentaisi kuvailua, vaatisi se oppimateriaaleihin erikoistuneen kuvailijan rakentamista (annifin käyttöönottoa aoe:ssa omana osasenaan ja sen opettamista) ja käyttäjiltä kärsivällisyyttä sitä oikoessa. Esimerkiksi Jyväskylän yliopistossa opinnäytteiden kuvailusta tästä on nähty hyötyä, mutta toimivimmillaankin se sujuvoittaisi kuvailua sellaisista kohdista, jotka eivät ole käyttäjä palautteen perusteella raskaaksi koettuja. Kuvailun sujuvoittamisessa tärkeämpää olisi keskittyä kouluttamiseen sekä saavutettavuuden avustamiseen.
Havaintoja testauksesta
- kuvaus-kenttien tekstit ovat monissa oppimateriaaleissa varsin suppeita.
- testausmateriaaleissa oli 1-8 asiasanaa, yleisimmin 4-6
- käyttäjien antamat asiasanat olivat monipuolisempia kuin generaattorien tarjoamat.
- Esim. tieto- ja viestintätekniikka - tietotekniikka
- puikkohitsaaminen - hitsaus
- opettajien täydennyskoulutus - opettajat
- Annif tarjosi useaan materiaaliin asiasanoiksi oppimateriaali, opetus, oppiminen jotka eivät ole kuvaavia tai kerro itse materiaalista varsinaisesti mitään oppimateriaaleihin erikoistuneessa palvelussa
- hyvin erilaisiin materiaaleihin tuli aivan samoja asiasanoja
- esim. materiaali 6: Wlan-verkkojen turvallisuus sekä materiaali 9: Kestävän kehityksen ulottuvuudet saivat samoja asiasanoja, mm. video, kuvanauhurit, videolaitteet (jotka eivät liity kummankaan materiaalin sisältöihin)
- Annifin asiasanat saattavat mennä myös täysin pieleen
- esim. materiaali 6 asiasanat WLAN ja tietoturvallisuus sai vastineeksi Annifilta mm. video, kuvanauhurit, videolaitteet, mutta ei tekijän itsensä antamia WLAN tai tietoturvallisuus. Lähin osuma oli langattomat lähiverkot
- materiaali 3: Hitsausmenetelmät sai ehdotuksiksi kapinat, tee, rahanarvo ja tavat (tapakulttuuri)
- generaattorien hyvä puoli on, että niissä ei ole kirjoitusvirheitä, joita käyttäjien antamissa asiasanoissa voi olla
- tosin nyt tavattiin yhteensä 44 asiasanasta vain yhdessä kirjoitusvirhe (materiaali 3: Hitsausmenetelmät - kaasuhistaaminen)
| Testausmateriaalit | ||||||
|---|---|---|---|---|---|---|
| Materiaali | tyyppi/formaatti | koulutusaste | käyttäjän antamat asiasanat | Annifin tarjoamat asiasanat oppimateriaalin perusteella | Annifin tarjoamat asiasanat kuvauksen perusteella | |
| 1. | Mediakasvatumateriaali perusopetukseen | perusopetus |
| |||
| 2. | Tieto- ja viestintätekniikan taidot | audio, teksti | lukio, ammatillinen, omaehtoinen osaamisen kehittäminen, korkeakoulutus |
| ||
| 3. | Hitsausmenetelmät | powerpoint | ammatillinen |
| ||
| 4. | Lelan matematiikkaseikkailu päiväkodissa | varhaiskasvatus, esiopetus |
| |||
| 5. | Kohti kulttuuri- ja katsomusreflektiivistä opetusta ja ohjausta: Tapauskeskustelun ohjaajan opas ja lisämateriaali | omaehtoinen osaamisen kehittäminen, korkeakoulutus |
| |||
| 6. | Wlan-verkkojen turvallisuus | video | ammatillinen, omaehtoinen, VALMA, lukio, LUVA |
| ||
| 7. | Verkkototeutuksen laatukriteerit | työkalu (pdf) | korkeakoulutus, ammatillinen |
| ||
| 8. | Itsearviointi | harjoitus, peli, työkalu (h5p) | perusopetus, ammatillinen, omaehtoinen, korkeakoulutus |
| ||
| 9. | Kestävän kehityksen ulottuvuudet | video | ammatillinen, perusopetus |
| ||
| 10. | Historian kertauskurssi ylioppilaskirjoituksiin | lukio |
| |||
Toteutusmahdollisuudet
Automaattisen testauksen käyttöönotto olisi mahdollista kahdella tavalla.
Kevyempi vaihtoehto toimisi Finto-apin kautta. Käyttäjä voisi kuvauksen syötettyään klikata asiasana-suositukset, jolloin front end generoi ne kutsulla finto apista kuvailun perusteella. Asiasanat generoituisi tällöin kuvauksen perusteella, jolloin ne kuvastaisivat sitä, mitä käyttäjä on jo ymmärtänyt kirjoittaa. Tämä vaihtoehto vaatisi metatietojen syötön käyttöliittymiin muutoksen jotta asiasanojen syöttäminen tulisi vasta kuvauksen jälkeen, yhteistyötä Finton kanssa sekä kutsun totettamisen.
Toteutukseltaan raskaampi vaihtoehto mahdollistaisi myös ratkaisun monipuolisemman kehittämisen. Tällöin annif otettaisiin käyttöön osana aoe-palvelua omalla palvelimellaan ja oppimateriaaliaineistolla opetettuna. Tässä vaihtoehdossa olisi mahdollista harkita myös muiden sanastojen käyttöönottoa yso-sanaston lisäksi (esimerkiksi ePerusteita). Lisäksi olisi mahdollista tehdä ratkaisu, joka ottaa tekstipohjaisista aineistoista niiden tekstisisällön kuvailun pohjaksi - tällöin saatavat asiasanat voisivat perustua myös laajemmin itse aiheeseen (kuin pelkää kuvausta käytettäessä). Tämä vaihtoehto vaatisi oman kehitysprojektin, jotta voitaisiin toteuttaa sen vaatimat uusien palvelinten käyttöönotto, käyttöliittymän muutokset, annifin asennus, annifin opetus ja opetuksen korjaukset sekä tekstiaineiston erottaminen oppimateriaaleista automaattista kuvailua varten.
Havainnollistus miten asiasanojen ehdotuksen voisi tuoda ilmi käyttöliittymässä:
Jatkokuva jossa asiasanat on ehdotettu:
