Tähän kohtaan on koottu keskeisimpiä kansainvälisiä suosituksia. Kustakin suosituksesta löytyy lyhyt kuvaus taustasta, suosituksen olennainen osa sekä linkki alkuperäiseen suositukseen, johon tarkempaa tietoa kaipaavat voivat tutustua.
Coalition for Advancing Research Assessment (CoARA)
Heinäkuussa 2022 eurooppalaisia tutkimusrahoittajia edustava Science Europe julkaisi Agreement on Reforming Research Assessment -sopimuksen, joka määrittää uusia tutkimuksenarvioinnin käytäntöjä. Sopimus on syntynyt Euroopan komission käynnistämän kansainvälisen yhteistyön tuloksena.
Sopimuksen toimeenpanoa edistää allekirjoittajien muodostama yhteenliittymä Coalition for Advancing Research Assessment (CoARA). Sopimuksen keskiössä ovat tutkimustyön ja sen arvioinnin moninaisuutta, avoimuutta ja syrjimättömyyttä edistävät toimet, jotka vahvistavat tieteen ja tutkimuksen laatua ja vaikuttavuutta.
Lokakuun 2023 loppuun mennessä yli 600 organisaatiota oli allekirjoittanut sopimuksen, joiden joukossa monia suomalaisia organisaatiota, mukaan lukien lähes kaikki yliopistot, suurin osa ammattikorkeakouluista sekä Dosenttiliitto, Suomen Akatemia ja Tieteellisten seurain valtuuskunta. Sopimukseen löytyy kokonaisuudessaan CoARAn verkkosivuilta.
CoARAn sopimus sisältää neljä ydinsitoumusta:
- Tunnistetaan tutkimustyötä tekevien panosten ja uran monimuotoisuus tutkimuksen tarpeiden ja luonteen mukaisesti.
- Perustetaan tutkimuksen arviointi ensisijaisesti laadulliseen arviointiin, jossa vertaisarviointi on keskeisessä asemassa, ja jota tukee määrällisten indikaattorien vastuullinen käyttö.
- Luovutaan tutkimuksen arviointiin soveltumattomien lehti- ja julkaisupohjaisien indikaattorien käytöstä, erityisesti Journal Impact Factorin (JIF) ja h-indeksin epätarkoituksenmukaisista käyttötavoista.
- Vältetään yliopistorankingien käyttöä tutkimuksen arvioinnissa
Vastuullisella määrällisten indikaattorien käytöllä tarkoitetaan ennen kaikkea sitä, ettei määrällisiä mittareita käytetä tutkimuksen laadun mittaamiseen.
Ydinsitoumuksia on lisäksi täydennetty kuudella tukisitoumuksella:
- Ohjataan resursseja tutkimuksen arvioinnin uudistamiseen organisaatiomuutosten saavuttamiseksi tarpeen mukaan.
- Tarkastellaan ja kehitetään tutkimuksen arviointiperusteita, työkaluja ja prosesseja.
- Lisätään tietoisuutta tutkimuksen arvioinnin uudistuksesta ja tarjotaan läpinäkyvää viestintää, ohjausta ja koulutusta arviointikriteereistä ja -prosesseista sekä niiden käytöstä.
- Vaihdetaan käytäntöjä ja kokemuksia keskinäisen oppimisen mahdollistamiseksi CoARAn sisällä ja sen ulkopuolella.
- Tiedotetaan periaatteiden noudattamisen ja sitoumusten täytäntöönpanon edistymisestä.
- Arvioidaan käytäntöjä, kriteereitä ja työkaluja vankkaan näyttöön ja uusimpaan tutkimukseen perustuen, ja asetaan data avoimesti saataville näytön keräämistä ja tutkimusta varten.
CoARAn työryhmät ja kansalliset osastot
CoARA käynnisti keväällä 2023 ensimmäisen haun, jossa sen jäsenorganisatiot saivat ehdottaa perustettavia työryhmiä ja kansallisia osastoja vastuullisen arvioinnin edistämiseksi. Työryhmät toimivat käytännön yhteisöinä, jotka mahdollistavat keskinäisen oppimisen ja yhteistyön valituilla vastuullisen arvioinnin teemoilla. Osallistuvat jäsenet vaihtavat tietoa, oppivat toistensa kokemuksista, keskustelevat ja kehittävät konkreettisia tuotoksia tutkimuksen arvioinnin edistämiseksi ja jäsentensä sitoumusten toteuttamisen tukemiseksi. Työryhmien kesto on kaksi vuotta ja kaikki CoARA:n jäsenorganisaatiot voivat osallistua niiden toimintaan. CoARAn ohjausryhmä on nimittänyt perustettavaksi kymmenen ensimmäistä työryhmää, joiden joukossa vastuullista metriikkaa ja indikaattoreita käsittelevä työryhmä (Working Group on Responsible metrics and indicators).
CoARAn Suomen kansallisen osaston perustamista koordinoi Tieteellisten seurain valtuuskunta, ja hakemus Suomen kansallisesta osastosta on suunnitelmissa tehdä syksyllä 2023 yhdessä kansallisen osaston toimintaan lähtevien organisaatioiden kanssa.
DORA-julistus
DORA on suosituskokoelma tieteellisen tutkimustoiminnan arvioinnin laadun parantamiseen. Se sai alkunsa joulukuussa 2012 amerikkalaisen solubiologian yhdistyksen (The American Society for Cell Biology, ASCB) vuosikokouksessa San Franciscossa (Kalifornia). Tuolloin joukko tiedelehtien toimittajia ja kustantajia tarttui tarpeeseen kehittää rahoittajien, akateemisten instituutioiden ja muiden osapuolten tapoja arvioida tieteellisen tutkimustoiminnan tuotoksia. Ryhmä kehitti joukon suosituksia, jotka julkaistiin maaliskuussa 2013 ja nimettiin DORA-julistukseksi (San Francisco Declaration on Research Assessment).
Suosituksiin sisältyy useita yhteisiä teemoja:
- tarve välttää rahoitus-, nimitys- ja ylennyspäätöksissä artikkeleiden julkaisukanavaan pohjautuvan metriikan, kuten vaikuttavuuskertoimen (Journal Impact Factor), käyttöä
- tarve arvioida tutkimusta ennemmin sen omiin ansioihin perustuen kuin sen perusteella, missä lehdessä se on julkaistu; ja
- tarve hyödyntää verkkojulkaisemisen tarjoamia mahdollisuuksia (kuten väljentää tarpeettomia artikkelien sana-, kuva- ja viittausmäärien rajoituksia, sekä tutkia uusia merkittävyyden ja vaikuttavuuden indikaattoreita).
DORA-julistuksen allekirjoittajat lupaavat tukea tutkimuksen arvioinnin käytäntöjen kehittämistä ja omaksumista. DORA-julistuksen on allekirjoittanut lukuisat yksityishenkilöt ja organisaatiot eri maista. DORA-julistus on ainoa kansainvälinen vastuullisen metriikan julistus, joka edellyttää sitoutumista allekirjoituksella.
DORA:n keskeisimmät suositukset ovat:
- Menetelmät: Älä käytä lehtiperustaista metriikkaa, kuten lehtien vaikuttavuuskertoimia, yksittäisen tutkimusartikkelin laadun mittaamisen korvikkeena arvioidaksesi yksittäisen tutkijan tieteellisiä ansioita, tai rekrytointi-, ylennys- ja rahoituspäätöksissä.
- Kriteerit: Määrittele avoimesti ja selkeästi kriteerit, joiden perusteella rahoituksen hakijoiden tieteellistä tuottavuutta arvioidaan, ja korosta erityisesti aloitteleville arvioijille, että kirjoituksen tieteellinen sisältö on paljon tärkeämpi kuin julkaisumetriikka tai artikkelin julkaisseen lehden maine.
- Aineistot: Toimi avoimesti ja läpinäkyvästi avaamalla kaikki metriikassa käytetty data ja menetelmät. Avaa data sellaisella lisenssillä, joka sallii rajoituksettoman uudelleen- ja jälleenkäytön, ja kun mahdollista, niin tarjoa dataan koneellinen pääsy.
- Monimuotoisuus: Ota tutkimuksen arvioinnissa tutkimusjulkaisujen lisäksi huomioon kaikkien tutkimustuotosten (sisältäen datasetit ja ohjelmistot) arvo ja vaikuttavuus. Harkitse laajaa kirjoa vaikuttavuusmittareita, mukaan lukien laadulliset vaikuttavuusindikaattorit, kuten vaikutus politiikkaan ja käytäntöön.
The Metric Tide
Vuonna 2014 toiminut korkeakoulu- ja tiedeministeri David Willettsin käynnistämä selvitys, jossa tarkasteltiin erilaisten määrällisten mittareiden kattavuutta ja luotettavuutta tutkimuksen laadun arvioinnissa ja johtamisessa sekä kansallisella että organisaatiotasolla. Selvitystyö sai tukea myös Englannin korkeakoulujen rahoitusneuvostolta (HEFCE = Higher Education Funding Council for England). Selvitystyötä ohjasi monialainen ohjausryhmä, joka koostui tutkimusrahoituksen, tutkimuspolitiikan, julkaisutoiminnan, skientometriikan sekä yliopiston johtamisen ja hallinnon asiantuntijoista. The Metric Tide (pdf) -selvityksessä annetaan suosituksia eri toimijoille. Suositusten tarkemmat kuvaukset löytyvät alkuperäisestä raportista.
- Tutkimuskulttuurien tehokkaan johtamisen, hallinnon ja hallinnan tukeminen
Suosituksissa kiinnitetään huomiota indikaattoreihin ja niiden määrittelyyn, arviointiperusteiden selkeyteen ja läpinäkyvyyteen sekä vastuullisen julkaisumetriikan periaatteiden edistämiseen. - Tutkimuksen tiedonhallintaa tukevan tietoinfrastruktuurin parantaminen
Suosituksissa korostuu infrastruktuurien läpinäkyvyys ja avoimuus, pysyvien tunnisteiden hyödyntäminen sekä infrastruktuurien yhteentoimivuus. - Olemassa olevan datan ja tietolähteiden hyödyllisyyden lisääminen
- Metriikan käyttö tulevissa tutkimuksen arvioinneissa
Suositusten perusteella määrällisellä arvioinnilla voidaan tukea laadunarviointia. - Metriikkatoimien koordinaatio
Koordinaation edistämiseksi suositellaan yhteistä keskustelufoorumia, tiedepolitiikan rahoituksen lisäämistä sekä julkista keskustelua vastuullisen metriikan teemoista.
Leidenin manifesti
Leidenin tutkimusmetriikkamanifesti on julkaistu joulukuussa 2016 ja se esittää kymmenen periaatetta, joita tulisi noudattaa tutkimusta arvioitaessa. Manifesti on syntynyt tarpeesta puuttua tutkimusmetriikan väärinkäyttöön, kuten hakijan h-indeksin pyytäminen rekrytointitilanteessa; ylennyspäätösten perustaminen h-indeksiin ja korkeiden vaikuttavuuskertoimien lehdissä julkaistujen artikkelin määrään; tutkimusrahoituksen tai bonusten kohdentaminen lukujen perusteella jne.
Manifestin kymmenen periaatetta eivät olleet uusia julkaisumetriikan asiantuntijoille, mutta tämä oli ensimmäinen kerta, kun ne koottiin yhteen. Tavoitteena oli tehdä parhaiden käytäntöjen kiteytys, jotta tutkijat pystyvät käytännönläheisesti tarkastelemaan niitä tapoja, joilla heitä arvioidaan, ja arvioijat voivat vastuullisesti perustella käyttämänsä mittarit eli indikaattorit.
Kymmenen periaatetta
Tässä kohdassa periaatteet on esitetty hyvin lyhyesti. Täsmennykset kullekin periaatteelle löytyvät alkuperäisestä artikkelista käännöksineen.
- Määrällisen arvioinnin pitäisi tukea laadullista asiantuntija-arviointia.
- Tarkastele suoritusta suhteessa instituution, ryhmän tai tutkijan omaan tutkimusmissioon.
- Ota huomioon, että paikallisesti merkittävä tutkimus voi olla huippututkimusta.
- Huolehdi, että aineiston kerääminen ja analyysiprosessit ovat avoimia, läpinäkyviä ja
yksinkertaisia. - Anna arvioitaville mahdollisuus tarkistaa data ja analyysit.
- Ota huomioon tieteenalojen erot julkaisemisessa ja viittauskäytännöissä.
- Perusta yksittäisten tutkijoiden arviointi heidän portfolionsa laadulliseen tarkasteluun.
- Vältä väärin kohdistettua konkretiaa ja epäluotettavaa tarkkuutta.
- Myönnä järjestelmään kuuluvat arvioinnin ja mittarien seuraukset.
- Tutki ja päivitä mittareita säännöllisesti.
Hong Kongin periaatteet
Hong Kongin periaatteet tutkijoiden arvioimiseksi muotoiltiin ja hyväksyttiin Hong Kongissa kesäkuussa 2019 World Conferences on Research Integrity -konferensissa. Hong Kongin periaatteet auttavat tutkimuslaitoksia minimoimaan hyvän tutkimuseettisen toimintatavan vastaisia kannustimia.
Hong Kongin periaatteet täydentävät DORA-julistuksen ja Leidenin manifestin suosituksia vastuullisesta tutkijan ja tutkimuksen arvioinnista. Hong Kongin periaatteet on valittu siten, että ne tunnustavat ja palkitsevat tukijoita hyvän tieteellisen käytännön edistämisestä. Tarkempia perusteluja ja esimerkkejä löytyy Hong Kongin periaatteet -sivulta.
Viisi periaatetta
- Arvioidaan vastuullisia tutkimuskäytäntöjä.
- Arvostetaan kattavaa raportointia.
- Palkitaan avoimen tieteen ja tutkimuksen toteuttamisesta.
- Tunnustetaan tutkimustoiminnan moninaisuus.
- Tunnustetaan muut olennaiset tehtävät, kuten vertaisarviointi ja mentorointi.
Helsinki Initiative on Multilingualism in Scholarly Communication (Monikielisen tiedeviestinnän Helsinki-aloite)
Monikielisen tiedeviestinnän Helsinki-aloite sai alkunsa vuonna 2019. Sen ovat tuottaneet Tieteellisten seurain valtuuskunta (TSV), Tiedonjulkistamisen neuvottelukunta (TJNK), Suomen tiedekustantajien liitto, Universities Norway (UHR) ja COST-toimi "European Network for Research Evaluation in the Social Sciences and the Humanities" (ENRESSH). Monikielisen tiedeviestinnän Helsinki-aloitteella on useita tavoitteita. Pyrkimyksenä on suojella monikielisyyttä, jotta paikallisesti tärkeä tutkimus pysyisi elossa. Edelleen halutaan edistää vaikuttavuutta, jota palvelee tutkimustulosten levittäminen omalla kielellä. Myös vuorovaikutus yhteiskunnan kanssa ja tiedon jakaminen tiedeyhteisön ulkopuolelle tarvitsevat tukea. Lisäksi kannustetaan huolehtimaan tieteellisen viestinnän kansallisella kielellä olevista hauraista infrastruktuureista.
Monikielisen tiedeviestinnän Helsinki-aloitteen allekirjoittajat kannattavat, että päätöksentekijät, yliopistot, ammattikorkeakoulut, tutkimuslaitokset, tutkimusrahoittajat, kirjastot ja tutkijat noudattavat seuraavia suosituksia.
1. Tue tutkimustulosten levittämistä, jotta yhteiskunta hyötyy niistä täysipainoisesti.
- Varmista, että tutkijan ansioihin luetaan tutkimustulosten levittäminen tutkimusyhteisöä laajemmalle yleisölle sekä vuorovaikutus perinteiden, kulttuurin ja yhteiskunnan kanssa.
- Varmista, että yhtäläinen pääsy tutkimustietoon on tarjolla useilla kielillä.
2. Huolehdi kansallisista infrastruktuureista, jotka mahdollistavat paikallisesti tärkeän tutkimuksen julkaisemisen.
- Varmista, että voittoa tavoittelemattomat tiedelehdet ja tieteelliset kustantajat saavat tarpeeksi resursseja ja tukea, jotta laadun varmentamisessa ja tutkimusintegriteetissä voidaan pitää yllä korkeita standardeja.
- Varmista, että kansalliset tiedelehdet ja tieteelliset kustantajat voivat siirtyä hallitusti ja turvallisesti avoimeen julkaisemiseen.
3. Edistä kielten moninaisuutta tutkimuksen arvioinnissa, arvostamisessa ja rahoittamisessa.
- Varmista, että asiantuntija-arvioinnissa arvostetaan laadukasta tutkimusta, olipa julkaisukieli tai -kanava mikä tahansa.
- Varmista, että metriikkaan perustuvissa arviointijärjestelmissä huomioidaan riittävällä tavalla kaikilla kielillä julkaistut artikkelit ja monografiat.