| Table of Contents |
|---|
Yliopistojen, yksiköiden tai yksittäisten tutkijoiden arvioinnin tulee perustua ensisijaisesti laadulliseen asiantuntija-arviointiin, mutta tutkimusmetriikkaa voidaan hyödyntää arvioinnin tukena. Kansalliset suositukset liittyvät tutkijanarvioinnin ja vastuullisen tutkimusmetriikan kansainvälisen keskustelun jatkumoon, jossa korostetaan sitä, että vastuullinen tutkimusmetriikan käyttö on vain osa kokonaisvaltaista arviointia ja jossa eri menetelmät täydentävät toisiaan.
Tutkijanarvioinnin hyvät käytännöt. Vastuullisen tutkijanarvioinnin kansallinen suositus.
Tieteellisten seurain valtuuskunta (TSV) on julkaissut suosituksen vuonna 2020: Tutkijanarvioinnin hyvät käytännöt. Vastuullisen tutkijanarvioinnin kansallinen suositus. Suositus on laadittu yksittäisen tutkijanarvioinnin näkökulmasta. Samoja periaatteita on syytä noudattaa myös arvioitaessa tutkimusorganisaatioita, tutkimusyksiköitä ja tutkimusta jossain laajemmassa yhteydessä.
Tutkijanarvioinnin yleiset periaatteet:
- Läpinäkyvyys: arviointi toteutetaan mahdollisimman läpinäkyvästi ja huolellisesti dokumentoiden.
- Integriteetti: arviointityössä noudatetaan tutkimusyhteisön tunnustamia toimintatapoja.
- Tasapuolisuus: arvioitavia kohdellaan yhdenvertaisesti ja puolueettomasti.
- Pätevyys: arvioijilla on arvioinnin edellyttämä sisällöllinen osaaminen.
- Monimuotoisuus: arvioinnissa huomioidaan tutkimuksen ja tuotosten monimuotoisuus.
Arvioinnin osa-alueet ja hyvät käytännöt:
A. Arviointiprosessin rakentaminen: 1) arvioinnin tavoitteet ja kriteerit ovat olennaisia ja kaikkien osapuolten tiedossa, 2) arvioinnissa käytettävät aineistot ovat kattavia ja tasapuolisia, 3) arvioijien valinta ja arviointiohjeet tukevat vastuullisen arvioinnin periaatteiden toteutumista, 4) yhdenvertaisuuden turvaaminen suojaa syrjinnältä.
B. Tutkimuksen arviointi: 5) Tieteellisen laadun arviointi perustuu ensisijaisesti tieteelliseen sisältöön ja tieteenalan kannalta relevanttiin metriikkaan, 6) toiminta avoimen saatavuuden edistämiseksi huomioidaan osana arviointia, 7) arvioinnissa huomioidaan tutkimuksen eettisten periaatteiden toteutuminen kaikissa tutkimusvaiheissa.
C. Tutkijan tehtävien monimuotoisuus: 8) Opetus- ja ohjaustehtävät huomioidaan oleellisena osana tutkijan työtä, 9) yhteiskunnallista vaikuttavuutta ja vuorovaikutusta arvioitaessa määritellään, mitä niillä tarkoitetaan, 10) arvioinnissa huomioidaan tutkijan toiminta tutkimus- ja muissa yhteisöissä, 11) tutkijaa arvioidaan oman tutkimusalansa edustajana suhteessa arvioinnin tavoitteisiin.
D. Tutkija arvioinnin osallisena: 12) tutkijan annetaan esittää oma arvio työnsä tavoitteista, merkittävyydestä ja vaikuttavuudesta, 13) arviointi suunnitellaan niin, että myös tutkija hyötyy siitä ja auttaa tutkijaa kehittämään työtään.
Kansallinen suositus julkaisumetriikan vastuullisesta käytöstä
Suositus julkaisumetriikan vastuullisesta käytöstä sisältyy kansalliseen vastuullisen tutkijanarvioinnin suositukseen. Suosituksen julkaisumetriikan vastuullisesta käytöstä on laatinut TUHA-verkoston yhteydessä toimiva Vastuullinen metriikka -työryhmä vuonna 2020. Suositus pohjautuu kansainvälisiin suosituksiin, ja siinä otetaan huomioon kansallinen toimintaympäristö. Suositukset on listattu kokonaisuudessaan alla:
Suositukset vastuulliseen julkaisumetriikan käyttöön
1. Tieteellisen toiminnan arvioinnissa voidaan laadullisen asiantuntija-arvioinnin tukena käyttää määrällisiä indikaattoreita. Yksittäistä tutkijaa arvioitaessa pääasiallisena arviointimenetelmänä tulee käyttää asiantuntija-arviointia.
2. Julkaisumetriikan tulee perustua arvioinnin kohteen kannalta relevanttiin dataan. Käytettävän datan tiedossa olevat rajoitteet tulee tuoda ilmi.
3. Julkaisumetriikan tuottamiseen käytetyn datan, analyysimenetelmien ja tulosten suhteen on toimittava mahdollisimman avoimesti ja läpinäkyvästi. Arvioinnin kohteen tulee olla mahdollista tarkistaa analyysin pohjana käytetty data sekä analyysin tulokset mahdollisuuksien mukaan.
4. Julkaisumetriikan käytössä otetaan huomioon tieteenalojen erot ja monitieteisyys.
5. Arvioinnissa käytettävät julkaisumetriikan indikaattorit tulee valita niin, että niillä pystytään vastaamaan arvioinnin tavoitteisiin.
6. Tulokset tulee raportoida arvioinnin kohteen, menetelmien ja datan kannalta relevantilla indikaattoriarvojen tarkkuudella. Soveltumattomat indikaattorit tulee jättää pois raportoinnista.
7. Julkaisumetriikan tuottamisessa ja hyödyntämisessä tulee käyttää alan asiantuntemusta.
8. Suositukseen sitoutuneen organisaation on huolehdittava julkaisumetriikan edellytysten ja asiantuntijuuden riittävästä resursoinnista. Organisaation tulee tarjota henkilökunnalleen koulutusta julkaisumetriikan vastuulliseen hyödyntämiseen.
9. Suositukseen sitoutuneet organisaatiot määrittelevät vastuutahon omasta organisaatiostaan, johon ottaa yhteyttä, jos julkaisumetriikkaa käytetään vastuuttomasti.
Kansallinen suositus julkaisumetriikan vastuullisesta käytöstä (pdf)
Julkaisufoorumi-luokituksen vastuullinen käyttö
Julkaisufoorumi (JUFO) on suomalaisen tiedeyhteisön toteuttama, tutkimuksen laadunarviointia tukeva julkaisukanavien tasoluokitus. Julkaisufoorumi-luokituksen vastuullinen käyttö -ohje (2019) sisältää TSV:n hallituksen asettaman ohjausryhmän suositukset JUFO-luokituksen vastuullisesta käytöstä tutkimuksen arvioinnin apuvälineenä.
JUFO-luokitus soveltuu paremmin yliopistotason suurten julkaisumäärien keskimääräisen laadun tarkasteluun. Koska luokitusta ei ole tarkoitettu pienempien julkaisumäärien tai yksittäisten julkaisujen laadun arviointiin, eikä yksittäisten tutkijoiden arviointiin tai vertailuun, on ollut tarpeen kuvata luokituksen taustaoletuksia ja ohjeistaa luokituksen hyödyntämistä vastuullisen metriikan periaatteiden mukaisesti. Jos JUFO-luokitusta hyödynnetään arvioinnin apuvälineenä pienempien yksiköiden tai yksittäisten tutkijoiden arviointiin, tulee arvioinnissa:
- huomioida JUFO-luokituksen käyttöä koskevat rajoitteet mm. tasoluokkien kiintiöt, luokituksen karkeusaste ja tieteenalojen erot.
- JUFO-luokituksen lisäksi käyttää muutakin julkaisukanava- ja/tai julkaisukohtaista tutkimusmetriikkaa mahdollisimman monipuolisesti ja tieteenalojen erot ja ominaispiirteet huomioiden;
- hyödyntää julkaisumetriikan asiantuntijoita JUFO-luokitukseen perustuvan tutkimusmetriikan tuottamisessa ja tulkinnassa;
- kertoa arvioinnin kohteelle läpinäkyvästi, missä yhteydessä ja miten JUFO-luokitusta käytetään;
- kuulla tutkijoiden näkemyksiä JUFO-luokituksen soveltuvuudesta eri arviointitarkoituksiin heidän tieteen- tai tutkimusalallaan.
Julkaisufoorumiluokituksen vastuullinen käyttö