Yhteinen kommentointi: Avoimen tieteen seurantamallin ensimmäinen luonnos

Ehdotettu kommentti:

Löydettävyys, saavutettavuus, yhteentoimivuus ja hyödynnettävyys ovat myös avoimuuden tärkeitä periaatteita, joita voi hyvin toteuttaa vaikka  aineiston avaaminen olisi mahdotonta eettisistä tai muista syistä. Avoimuuden asteita on pysytyttävä toteuttamaan myös teknisesti. Avoimuus on myös teknistä (saavutettavuusvaatimukset, koneluettavuus, avoin formaatti jne) ja löydettävyyttä (metatietoja, googlattavuuta).

Onko luonnoksen johdannossa mielestäsi jotain liikaa? 

Jos vastasit kyllä, mitä luonnoksen johdannosta tulisi poistaa? 

Onko luonnoksen johdannossa mielestäsi jotain olennaisesti väärin? 

Jos vastasit kyllä, mitä luonnoksen johdannon virheitä tulisi korjata? 

a) 0/1 -tyyppinen luokittelu (joko on tai ei)

b) Portaittainen asteikko (“Avoimuuden portaat”, esim. 1-5)

c) Liukuva asteikko

d) Seurannassa ei tulisi käyttää organisaatioita toisiinsa vertaavaa asteikkoa

e) Muu: (avoin vastaus)

• Konkreettisia mittareita ei kriteereistä juuri löydy. Paljolti kyllä–ei-kysymyksiä, joissa kyllä-vaihtoehdon sisään mahtuu kirjavia asioita

Ehdotettu kommentti:

Organisaatioiden pitäisi pystyä määrittelemään itselleen relevantteja indikaattoreita. Indikaattoreiden on kehityttävä kohti yhteistä mittaristoa. Kvalitatiiviset mittarit ovat tärkeitä. Kansainväliseen indikaattorien kehittämiseen pitää osallistua aktiivisesti. Indikaattorien määrää on syytä pohtia.

Seurannan kohteet ja indikaattorit: Julkaisut

Onko seurannan kohteita oikea määrä?

Mikäli vastasit ei, mitä seurattavia kohteita tulisi lisätä tai mitkä tulisi poistaa?

Vastaavatko esitetyt indikaattorit seurannalle asetettuja tavoitteita?

Mikäli vastasit ei, miltä osin esitettyjen indikaattoreiden tai tietolähteiden sisältöä pitäisi korjata, lisätä tai poistaa?

Seurannan kohteet ja indikaattorit: Opinnäytetyöt, oppimateriaalit, julkaisupalvelut

Onko seurannan kohteita oikea määrä?

Mikäli vastasit ei, mitä seurattavia kohteita tulisi lisätä tai mitkä tulisi poistaa?

Vastaavatko esitetyt indikaattorit seurannalle asetettuja tavoitteita?

Mikäli vastasit ei, miltä osin esitettyjen indikaattoreiden tai tietolähteiden sisältöä pitäisi korjata, lisätä tai poistaa?

PID-palvelut, kuten CrossRef, eivät ole standardeja. Vielä tunnisteita tärkeämpää olisi kiinnittää huomiota metatiedoissa käytettyihin formaatteihin ja järjestelmärajapintoihin. 

Seurannan kohteet ja indikaattorit: Aineistot, menetelmät, infrastruktuuri

Onko seurannan kohteita oikea määrä?

• Miten mitatataan sitä, mitä ei näy automaattisesti näy Metaxissa. On syytä huolehtia laajasta tiedonkeruusta.

Mikäli vastasit ei, mitä seurattavia kohteita tulisi lisätä tai mitkä tulisi poistaa?

Avoin vastaus

• Mahdollisia seurannan kohteita / indikaattoreita huomioitavaksi
  • Onko tieto siitä mitä on tehty olemassa, saatavilla ja koneluettavissa?
  • Voidaanko organisaatiossa tuottaa hallinnollista metadataa?
  • Onko se yhteydessä kansallisiin tietovarantoihin?
  • Kyetäänkö organisaatiossa tukemaan FAIR-periaatteiden noudattamista, esim. koulutuksin?
  • Kuinka paljon FAIR-periaatteiden mukaisia aineistoja on käytetty?
  • Kasvavatko asia (ei määrät vaan trendit)?
  • Mitattava organisaation kykyä tuottaa dataa FAIR-periaatteiden mukaisesti eri avoimuuden asteilla
  • Onko olemassa datakatalogeja? Käytetäänkö niitä?
  • FAIR-kyvykkyyttä ei voi mitata, jos ei ole katalogia, johon evaluaattori voitaisiin lähettää
  • Laadulliseen kriteeristöön / mittaamiseen pyrkiminen

Ehdotettu kommentti:

Indikaattoreita pitäisi olla enemmän, mielellään myös laadullisia hyödyntäen. Suosittelemme indikaattorien hierarkian miettimistä.

Metatiedot: onko aineistoilla hallinnollinen metadata?

Tämä indikaattori on oikean suuntainen, mutta vaatii tarkennusta. Esim. onko aineistolla

• omistaja
• yleisesti tunnettu lisenssi, joka sallii uudelleenkäytön
• mahdolliselle ei-avoimuudelle ilmoitettu peruste

Näiden osuus kaikista aineistoista olisi määrää parempi indikaattori.

Avointen aineistojen/datasettien määrä metatietojen perusteella

Tämä on erittäin hankala, helposti manipuloitavissa oleva mittari, joka ei tiettävästi indikoi laatua, käytettävyyttä tai edes aineiston varsinaista määrää millään tavalla. FAIR-periaatteiden soveltaminen ryhmä suosittelee, ettei sitä hyödynnetä. Parempi mittari olisi esimerkiksi organisaation ohjeiden kattavuus ja linjaukset datarepositorioiden ja avoimuuden suhteen. Organisaation strategisiin tavoitteisiin pitää kuulua avoimuus.

Tutkijan pitää pystyä meritoitumaan datan avoimien datojen/aineistojen julkaisijana. Aineistojen avoimuus, metatietojen laatiminen ja aineiston kuratointi vaativat huomattavasti työtä. Tutkija-arvioinnissa avoimet aineistot on otettava mukaan julkaisuihin verrattavana meritoimiskriteerinä. 

Ehdotamme kuitenkin, että indikaattorina käytettäisiin mieluummin organisaation tarjoaman tuen määrää tai onko esim. organisaatio allekirjoittanut DORAn ja seuraako COUNTER suosituksia.

Avointen aineistojen osuus kaikista aineistoista voisi toimia. Dataviittaukset kertoisivat uudelleenkäytöstä, mutta käytännöt lienevät alakohtaisesti hyvin vaihtelevia.

FAIR-periaatteiden noudattaminen (tarkennettava)

Jo tästä nousee selvästi jo neljä ylätason indikaattoria. Tällä hetkellä työkaluilla voi validoida vain yksittäisiä aineistokuvailuja ja ne on lähinnä tarkoitettu palveluiden tarjoajille oman kehitystyön tekniseksi tueksi. Pysyvien tunnisteiden ja rikkaan metatiedon oikeanlainen käyttö ovat keskeisiä indikaattoreita ja niistä kertoo lähinnä asiallisten palveluiden ja alustojen hyödyntäminen datan julkaisemisessa. Koko tutkimuskentän kypsyyttä voisi mitata esimerkiksi TTV:n PIDien ja niiden välisten linkitysten määrän kehityksellä. 

Miten organisaatiot käyttävät metatietoja ja tarjoavat niitä saataville. Sektorikohtaisesti ja avoimena datana.

Mahdollisia muita indikaattoreita:

Datatukeen käytetty resurssi organisaation tutkimuksen kokonaisbudjetista?

Vastaavatko esitetyt indikaattorit seurannalle asetettuja tavoitteita?

Mikäli vastasit ei, miltä osin esitettyjen indikaattoreiden tai tietolähteiden sisältöä pitäisi korjata, lisätä tai poistaa?

Avoin vastaus

• Mitä avoimella datalla ja avoimuudella kriteereissä tarkoitetaan?
  • Jos tarkoitetaan itse raakadatan avoimuutta, niin siinä on kyseessä ennemminkin olosuhde (esim. jos on henkilötietoa, ei noin vaan avata – metatiedot eri asia)
  • Eri laitoikset puskevat ulos eri määrän dataa → vertailu laitosten välillä hankalaa
  • Oletuksena datan staattisuus, entä dynaaminen data (esim. lajitietokanta)

Ehdotettu kommentti:

On syytä huomioida, että monet datapalvelut ja esim FIRI-infrastruktuurit, joiden jatkuvuus ja pysyvyys edellyttää organisaatioiden sitoutumista, ovat tärkeitä avointen aineistojen tuottaja. Näistä olisi syytä palkita organisaatioita positiivisella huomiolla ja arvostuksella. Nämä datapalvelut eivät näy tutkimustietovarannossa aineistoina vaan niiden tietoja pitäisi kerätä infrastruktuureina. Suuri osa syntyvästä aineistosta on itse asiassa muuta kuin yksittäisten tutkijoiden ja tutkimustulosten tuottamaa, varsinkin siitä datasta joka on helposti käytettävää ja tasalaatuista.

Seurannan kohteet ja indikaattorit: Kannustimet, arviointi, kansalaistiede

Onko seurannan kohteita oikea määrä?

Mikäli vastasit ei, mitä seurattavia kohteita tulisi lisätä tai mitkä tulisi poistaa?

Vastaavatko esitetyt indikaattorit seurannalle asetettuja tavoitteita?

Mikäli vastasit ei, miltä osin esitettyjen indikaattoreiden tai tietolähteiden sisältöä pitäisi korjata, lisätä tai poistaa?

Kyselyn lopuksi

Haluatko kommentoida jotain muuta, joka ei tullut kysymyksissä esille tai jättää terveisiä seurantatyöryhmälle?

Organisaationäkökulma, josta ensisijaisesti tarkastelen seurantaa

a) Yliopisto

b) Ammattikorkeakoulu

c) Tutkimuslaitos

d) Tutkimusrahoittaja

e) Palveluntarjoaja

f) Tieteellinen seura

g) Muu: (avoin vastaus)

Kyselyn lopuksi