Vastuullisuus tuloksien esittämisessä ja tulkinnassa
Vastuullinen julkaisumetriikan käyttö edellyttää lähdedatan avaamiseen, tuloksien esittämiseen ja tulkintaan liittyviä näkökulmia. Kansallisia ja kansainvälisiä suosituksia noudattaen, on hyvä kiinnittää huomiota seuraavien seikkojen toteutumiseen:
Muistetaan, että julkaisuperusteista metriikkaa voidaan käyttää laadullisen asiantuntija-arvioinnin tukena, mutta se ei saa olla ainoa menetelmä arvioitaessa yliopistoja, niiden yksiköitä tai yksittäisiä tutkijoita.
- Koko analysointiprosessin tulee olla mahdollisimman avoin ja läpinäkyvä: käytetty data, analyysimenetelmät sekä tulokset.
Analysoinnin kohteena olevalle on tarjottava mahdollisuus tarkistaa analyysin pohjana käytetty data sekä analyysin tulokset mahdollisuuksien mukaan. Analyysin tuloksia esitettäessä olisi hyvä suosia esitysformaattia, joka mahdollistaa käytettyyn lähdedataan porautumisen ja mikäli mahdollista, tarjota lähdedataan koneellinen pääsy.
Analyysin tulokset tulee esittää relevantilla indikaattoriarvojen tarkkuudella. Soveltumattomat indikaattorit tulee jättää pois analyysin tuloksista.
Koska julkaisu- ja viittauskäytännöt eri tieteenaloilla eroavat merkittävästi toisistaan, ei eri tieteenalojen tuloksia pitäisi verrata keskenään.
Julkaisumetriikan tuottaminen ja tulosten tulkinta edellyttää riittävää julkaisumetristen menetelmien tuntemusta. On huolehdittava, että myös julkaisumetriikkaa hyödyntävät tahot ymmärtävät käytetyt menetelmät ja niiden mahdolliset rajoitteet sekä osaavat tulkita ja hyödyntää analyysien tuloksia vastuullisesti.
Hyviksi havaittuja esimerkkejä vastuullisesti toteutetuista julkaisuperusteisista analyyseista
Ajatuksena olisi, että tähän voisi kerätä esimerkkejä eri organisaatioista toteutetuista vastuullisesti toteutetuista analyyseistä. Samalla tulisi jaettua hyviä esimerkkejä eri esitystavoista. Esimerkkinä kuvankaappaus Aalto-yliopiston OA Dashboardista Power BI työkalulla toteutettuna.
Kuva 1. Power BI työkalulla toteutettu Aalto Key Information Dashboard sisältää avaintietoa Aalto-yliopistosta ja se on avoin kaikille aaltolaisille. Kuvassa esimerkki Open Access raportista. Power BI raportilla tiedot pääosin päivittyvät automaattisesti ja datan päivitysajankohta näkyy jokaisen raportin etusivulla. Raportilla on mahdollista porautua tarkempaan tarkastelutasoon ylipistotasolta koulutasolle, laitostasolle ja osassa julkaisuperusteisia raportteja aina julkaisun tasolle asti. Jokaisen yksittäisen raportin yhteydessä on Definitions -välilehdellä kerrottu käytetty lähdedata ja esitetty määrittelyt käytetyille mittareille. Power BI raporttien yhteydessä on myös kerrottu, kuka/mikä yksikkö raportin toteutuksesta vastaa sekä yhteystiedot kyseiseen yksikköön.