Tähän kohtaan on koottu keskeisimpiä kansainvälisiä suosituksia. Kustakin suosituksesta löytyy lyhyt kuvaus taustasta, suosituksen olennainen osa sekä linkki alkuperäiseen suositukseen, johon tarkempaa tietoa kaipaavat voivat tutustua.
DORA-julistus
DORA on suosituskokoelma tieteellisen tutkimustoiminnan arvioinnin laadun parantamiseen. Se sai alkunsa joulukuussa 2012 amerikkalaisen solubiologian yhdistyksen (The American Society for Cell Biology, ASCB) vuosikokouksessa San Franciscossa (Kalifornia). Tuolloin joukko tiedelehtien toimittajia ja kustantajia tarttui tarpeeseen kehittää rahoittajien, akateemisten instituutioiden ja muiden osapuolten tapoja arvioida tieteellisen tutkimustoiminnan tuotoksia. Ryhmä kehitti joukon suosituksia, jotka julkaistiin maaliskuussa 2013 ja nimettiin DORA-julistukseksi (San Francisco Declaration on Research Assessment).
Suosituksiin sisältyy useita yhteisiä teemoja:
- tarve välttää rahoitus-, nimitys- ja ylennyspäätöksissä artikkeleiden julkaisukanavaan pohjautuvan metriikan, kuten vaikuttavuuskertoimen (Journal Impact Factor), käyttöä
- tarve arvioida tutkimusta ennemmin sen omiin ansioihin perustuen kuin sen perusteella, missä lehdessä se on julkaistu; ja
- tarve hyödyntää verkkojulkaisemisen tarjoamia mahdollisuuksia (kuten väljentää tarpeettomia artikkelien sana-, kuva- ja viittausmäärien rajoituksia, sekä tutkia uusia merkittävyyden ja vaikuttavuuden indikaattoreita).
DORA-julistuksen allekirjoittajat lupaavat tukea tutkimuksen arvioinnin käytäntöjen kehittämistä ja omaksumista. Vuoden 2022 toukokuuhun mennessä DORA-julistuksen on allekirjoittanut lähes 22 000 yksityishenkilöä tai organisaatiota 158 maasta.
DORA:n keskeisimmät suositukset ovat:
- Menetelmät: Älä käytä lehtiperustaista metriikkaa, kuten lehtien vaikuttavuuskertoimia, yksittäisen tutkimusartikkelin laadun mittaamisen korvikkeena arvioidaksesi yksittäisen tutkijan tieteellisiä ansioita, tai rekrytointi-, ylennys- ja rahoituspäätöksissä.
- Kriteerit: Määrittele avoimesti ja selkeästi kriteerit, joiden perusteella rahoituksen hakijoiden tieteellistä tuottavuutta arvioidaan, ja korosta erityisesti aloitteleville arvioijille, että kirjoituksen tieteellinen sisältö on paljon tärkeämpi kuin julkaisumetriikka tai artikkelin julkaisseen lehden maine.
- Aineistot: Toimi avoimesti ja läpinäkyvästi avaamalla kaikki metriikassa käytetty data ja menetelmät. Avaa data sellaisella lisenssillä, joka sallii rajoituksettoman uudelleen- ja jälleenkäytön, ja kun mahdollista, niin tarjoa dataan koneellinen pääsy.
- Monimuotoisuus: Ota tutkimuksen arvioinnissa tutkimusjulkaisujen lisäksi huomioon kaikkien tutkimustuotosten (sisältäen datasetit ja ohjelmistot) arvo ja vaikuttavuus. Harkitse laajaa kirjoa vaikuttavuusmittareita, mukaan lukien laadulliset vaikuttavuusindikaattorit, kuten vaikutus politiikkaan ja käytäntöön.
The Metric Tide
Vuonna 2014 toiminut korkeakoulu- ja tiedeministeri David Willettsin käynnistämä selvitys, jossa tarkasteltiin erilaisten määrällisten mittareiden kattavuutta ja luotettavuutta tutkimuksen laadun arvioinnissa ja johtamisessa sekä kansallisella että organisaatiotasolla. Selvitystyö sai tukea myös Englannin korkeakoulujen rahoitusneuvostolta (HEFCE = Higher Education Funding Council for England). Selvitystyötä ohjasi monialainen ohjausryhmä, joka koostui tutkimusrahoituksen, tutkimuspolitiikan, julkaisutoiminnan, skientometriikan sekä yliopiston johtamisen ja hallinnon asiantuntijoista. The Metric Tide (pdf) -selvityksessä annetaan suosituksia eri toimijoille. Suositusten tarkemmat kuvaukset löytyvät alkuperäisestä raportista.
- Tutkimuskulttuurien tehokkaan johtamisen, hallinnon ja hallinnan tukeminen
Suosituksissa kiinnitetään huomiota indikaattoreihin ja niiden määrittelyyn, arviointiperusteiden selkeyteen ja läpinäkyvyyteen sekä vastuullisen julkaisumetriikan periaatteiden edistämiseen. - Tutkimuksen tiedonhallintaa tukevan tietoinfrastruktuurin parantaminen
Suosituksissa korostuu infrastruktuurien läpinäkyvyys ja avoimuus, pysyvien tunnisteiden hyödyntäminen sekä infrastruktuurien yhteentoimivuus. - Olemassa olevan datan ja tietolähteiden hyödyllisyyden lisääminen
- Metriikan käyttö tulevissa tutkimuksen arvioinneissa
Suositusten perusteella määrällisellä arvioinnilla voidaan tukea laadunarviointia. - Metriikkatoimien koordinaatio
Koordinaation edistämiseksi suositellaan yhteistä keskustelufoorumia, tiedepolitiikan rahoituksen lisäämistä sekä julkista keskustelua vastuullisen metriikan teemoista.
Leidenin manifesti
Leidenin tutkimusmetriikkamanifesti on julkaistu joulukuussa 2016 ja se esittää kymmenen periaatetta, joita tulisi noudattaa tutkimusta arvioitaessa. Manifesti on syntynyt tarpeesta puuttua tutkimusmetriikan väärinkäyttöön, kuten hakijan h-indeksin pyytäminen rekrytointitilanteessa; ylennyspäätösten perustaminen h-indeksiin ja korkeiden vaikuttavuuskertoimien lehdissä julkaistujen artikkelin määrään; tutkimusrahoituksen tai bonusten kohdentaminen lukujen perusteella jne.
Manifestin kymmenen periaatetta eivät olleet uusia julkaisumetriikan asiantuntijoille, mutta tämä oli ensimmäinen kerta, kun ne koottiin yhteen. Tavoitteena oli tehdä parhaiden käytäntöjen kiteytys, jotta tutkijat pystyvät tarkastelemaan niitä tapoja, joilla heitä arvioidaan, ja arvioijat voivat vastuullisesti perustella käyttämänsä mittarit eli indikaattorit.
Kymmenen periaatetta
Tässä kohdassa periaatteet on esitetty hyvin lyhyesti. Täsmennykset kullekin periaatteelle löytyvät alkuperäisestä artikkelista käännöksineen.
- Määrällisen arvioinnin pitäisi tukea laadullista asiantuntija-arviointia.
- Tarkastele suoritusta suhteessa instituution, ryhmän tai tutkijan omaan tutkimusmissioon.
- Ota huomioon, että paikallisesti merkittävä tutkimus voi olla huippututkimusta.
- Huolehdi, että aineiston kerääminen ja analyysiprosessit ovat avoimia, läpinäkyviä ja
yksinkertaisia. - Anna arvioitaville mahdollisuus tarkistaa data ja analyysit.
- Ota huomioon tieteenalojen erot julkaisemisessa ja viittauskäytännöissä.
- Perusta yksittäisten tutkijoiden arviointi heidän portfolionsa laadulliseen tarkasteluun.
- Vältä väärin kohdistettua konkretiaa ja epäluotettavaa tarkkuutta.
- Myönnä järjestelmään kuuluvat arvioinnin ja mittarien seuraukset.
- Tutki ja päivitä mittareita säännöllisesti.
Helsinki Initiative on Multilingualism in Scholarly Communication (Monikielisen tiedeviestinnän Helsinki-aloite)
Monikielisen tiedeviestinnän Helsinki-aloitteella on useita tavoitteita. Pyrkimyksenä on suojella monikielisyyttä, jotta paikallisesti tärkeä tutkimus pysyisi elossa. Edelleen halutaan edistää vaikuttavuutta, jota palvelee tutkimustulosten levittäminen omalla kielellä. Myös vuorovaikutus yhteiskunnan kanssa ja tiedon jakaminen tiedeyhteisön ulkopuolelle tarvitsevat tukea. Lisäksi kannustetaan huolehtimaan tieteellisen viestinnän kansallisella kielellä olevista hauraista infrastruktuureista.
Monikielisen tiedeviestinnän Helsinki-aloitteen allekirjoittajat kannattavat, että päätöksentekijät, yliopistot, ammattikorkeakoulut, tutkimuslaitokset, tutkimusrahoittajat, kirjastot ja tutkijat noudattavat seuraavia suosituksia.
1. Tue tutkimustulosten levittämistä, jotta yhteiskunta hyötyy niistä täysipainoisesti.
- Varmista, että tutkijan ansioihin luetaan tutkimustulosten levittäminen tutkimusyhteisöä laajemmalle yleisölle sekä vuorovaikutus perinteiden, kulttuurin ja yhteiskunnan kanssa.
- Varmista, että yhtäläinen pääsy tutkimustietoon on tarjolla useilla kielillä.
2. Huolehdi kansallisista infrastruktuureista, jotka mahdollistavat paikallisesti tärkeän tutkimuksen julkaisemisen.
- Varmista, että voittoa tavoittelemattomat tiedelehdet ja tieteelliset kustantajat saavat tarpeeksi resursseja ja tukea, jotta laadun varmentamisessa ja tutkimusintegriteetissä voidaan pitää yllä korkeita standardeja.
- Varmista, että kansalliset tiedelehdet ja tieteelliset kustantajat voivat siirtyä hallitusti ja turvallisesti avoimeen julkaisemiseen.
3. Edistä kielten moninaisuutta tutkimuksen arvioinnissa, arvostamisessa ja rahoittamisessa.
- Varmista, että asiantuntija-arvioinnissa arvostetaan laadukasta tutkimusta, olipa julkaisukieli tai -kanava mikä tahansa.
- Varmista, että metriikkaan perustuvissa arviointijärjestelmissä huomioidaan riittävällä tavalla kaikilla kielillä julkaistut artikkelit ja monografiat.
Monikielisen tiedeviestinnän Helsinki-aloitteen ovat valmistaneet Tieteellisten seurain valtuuskunta (TSV), Tiedonjulkistamisen neuvottelukunta (TJNK), Suomen tiedekustantajien liitto, Universities Norway (UHR) ja COST-toimi "European Network for Research Evaluation in the Social Sciences and the Humanities" (ENRESSH).