Vastuullisuus tuloksien esittämisessä ja tulkinnassa

Vastuullinen julkaisumetriikan käyttö edellyttää lähdedatan avaamiseen, tuloksien esittämiseen ja tulkintaan liittyviä näkökulmia. Kansallisia ja kansainvälisiä suosituksia noudattaen, on hyvä kiinnittää huomiota seuraavien seikkojen toteutumiseen:

• Muistetaan, että julkaisuperusteista metriikkaa voidaan käyttää laadullisen asiantuntija-arvioinnin tukena, mutta se ei saa olla ainoa menetelmä arvioitaessa yliopistoja, niiden yksiköitä tai yksittäisiä tutkijoita.

• Koko analysointiprosessin tulee olla mahdollisimman avoin ja läpinäkyvä: käytetty data, analyysimenetelmät sekä tulokset. 

• Analysoinnin kohteena olevalle on tarjottava mahdollisuus tarkistaa analyysin pohjana käytetty data sekä analyysin tulokset mahdollisuuksien mukaan. Analyysin tuloksia esitettäessä olisi hyvä suosia esitysformaattia, joka mahdollistaa käytettyyn lähdedataan porautumisen ja mikäli mahdollista, tarjota lähdedataan koneellinen pääsy.

• Analyysin tulokset tulee esittää relevantilla indikaattoriarvojen tarkkuudella. Soveltumattomat indikaattorit tulee jättää pois analyysin tuloksista.

• Koska julkaisu- ja viittauskäytännöt eri tieteenaloilla eroavat merkittävästi toisistaan, ei eri tieteenalojen tuloksia pitäisi verrata keskenään.

• Julkaisumetriikan tuottaminen ja tulosten tulkinta edellyttää riittävää julkaisumetristen menetelmien tuntemusta. On huolehdittava, että myös julkaisumetriikkaa hyödyntävät tahot ymmärtävät käytetyt menetelmät ja niiden mahdolliset rajoitteet sekä osaavat tulkita ja hyödyntää analyysien tuloksia vastuullisesti.

Hyvä oppaan lukija, toivoisimme tähän lukuun esimerkkejä vastuullisuusnäkökulmat huomioivista julkaisuperusteisista tarkasteluista

Mikäli omassa organisaatiossasi on tehty jokin tilastollinen julkaisuperusteinen tarkastelu tai analyysi, joka mielestäsi noudattaa vastuullisen julkaisumetriikan suosituksia ja olet valmis jakamaan tiedon tämän oppaan lukijoille:

• Voit laittaa ehdotuksesi Kansallisen julkaisumetriikkaoppaan työryhmälle palveluosoitteeseen: kjmo@postit.csc.fi
• Liitä mukaan kuvaus, miltä osin esimerkki noudattaa vastuullisen julkaisumetriikan suosituksia

Kuva 1. Power BI työkalulla toteutettu Aalto Key Information Dashboard sisältää avaintietoa Aalto-yliopistosta ja se on avoin kaikille aaltolaisille. Kuvassa esimerkki Open Access raportista Kemian tekniikan korkeakoulun julkaisuista vuosilta 2020-2022. Power BI raportilla tiedot pääosin päivittyvät automaattisesti ja datan päivitysajankohta näkyy jokaisen raportin etusivulla. Raportilla on mahdollista porautua tarkempaan tarkastelutasoon yliopistotasolta koulutasolle, laitostasolle ja osassa julkaisuperusteisia raportteja aina julkaisun tasolle asti. Jokaisen yksittäisen raportin yhteydessä on Definitions -välilehdellä kerrottu käytetty lähdedata ja esitetty määrittelyt käytetyille mittareille. Power BI raporttien yhteydessä on myös kerrottu, kuka/mikä yksikkö raportin toteutuksesta vastaa sekä yhteystiedot kyseiseen yksikköön.