Kansainvälisiä suosituksia

Tähän alkuun johdantoa kv-suosituksiin

DORA-julistus

DORA on suosituskokoelma tieteellisen tutkimustoiminnan arvioinnin laadun parantamiseen. Se sai alkunsa joulukuussa 2012 amerikkalaisen solubiologian yhdistyksen (The American Society for Cell Biology, ASCB) vuosikokouksessa San Franciscossa (Kalifornia). Tuolloin joukko tiedelehtien toimittajia ja kustantajia tarttui tarpeeseen kehittää rahoittajien, akateemisten instituutioiden ja muiden osapuolten tapoja arvioida tieteellisen tutkimustoiminnan tuotoksia. Ryhmä kehitti joukon suosituksia, jotka julkaistiin maaliskuussa 2013 ja nimettiin DORA-julistukseksi eli San Francisco Declaration on Research Assessment. 

Suosituksiin sisältyy useita yhteisiä teemoja:

• tarve välttää rahoitus-, nimitys- ja ylennyspäätöksissä artikkeleiden julkaisukanavaan pohjautuvan metriikan, kuten vaikuttavuuskertoimen (Journal Impact Factor), käyttöä
• tarve arvioida tutkimusta ennemmin sen omiin ansioihin perustuen kuin sen perusteella, missä lehdessä se on julkaistu; ja
• tarve hyödyntää verkkojulkaisemisen tarjoamia mahdollisuuksia (kuten väljentää tarpeettomia artikkelien sana-, kuva- ja viittausmäärien rajoituksia, sekä tutkia uusia merkittävyyden ja vaikuttavuuden indikaattoreita).

DORA-julistuksen allekirjoittajat lupautuvat tukemaan tutkimuksen arvioinnin käytäntöjen omaksumista.

Suositukset

Yleinen suositus

1. Älä käytä lehtiperustaista metriikkaa, kuten lehtien vaikuttavuuskertoimia, yksittäisen tutkimusartikkelin laadun mittaamisen korvikkeena arvioidaksesi yksittäisen tutkijan tieteellisiä ansioita, tai rekrytointi-, ylennys- ja rahoituspäätöksissä.
   
   Rahoittajille
   
   
2. Määrittele avoimesti ja selkeästi kriteerit, joiden perusteella rahoituksen hakijoiden tieteellistä tuottavuutta arvioidaan, ja korosta erityisesti aloitteleville arvioijille, että kirjoituksen tieteellinen sisältö on paljon tärkeämpi kuin julkaisumetriikka tai artikkelin julkaisseen lehden maine.
3. Ota tutkimuksen arvioinnissa tutkimusjulkaisujen lisäksi huomioon kaikkien tutkimustuotosten (sisältäen datasetit ja ohjelmistot) arvo ja vaikuttavuus. Harkitse laajaa kirjoa vaikuttavuusmittareita, mukaan lukien laadulliset vaikuttavuusindikaattorit, kuten vaikutus politiikkaan ja käytäntöön.
   
   Korkeakouluille ja tiedelaitoksille
   
   
4. Määrittele rekrytointi-, urapolku- ja ylennyspäätöksissä käytetyt kriteerit avoimesti ja selkeästi, ja korosta erityisesti aloitteleville arvioijille, että artikkelin tieteellinen sisältö on paljon tärkeämpi kuin julkaisumetriikka tai kirjoituksen julkaisseen lehden maine.
5. Ota tutkimuksen arvioinnissa tutkimusjulkaisujen lisäksi huomioon kaikkien tutkimustuotosten (sisältäen datasetit ja ohjelmistot) arvo ja vaikuttavuus. Harkitse laajaa kirjoa vaikuttavuusmittareita, mukaan lukien laadulliset vaikuttavuusindikaattorit, kuten vaikutus politiikkaan ja käytäntöön.
   
   Kustantajille
   
   
6. Supista merkittävästi lehden vaikuttavuuskertoimen merkitystä mainontavälineenä. Ihanteellinen ratkaisu on lakata käyttämästä vaikuttavuuskerrointa tai käyttää julkaisupohjaista metriikkaa monipuolisesti (esim. 5-vuoden vaikuttavuuskerroin, EigenFactor [8], SCImago [9], h-indeksi, toimitustyö- tai julkaisukerrat jne), mikä tarjoaa monipuolisemman käsityksen lehden saavutuksista.
7. Tarjoa valikoima artikkelipohjaista metriikkaa ja rohkaise siten siirtymistä julkaisukanavaan perustuvasta metriikasta arviointiin, joka perustuu tieteellisen artikkelin sisältöön.
8. Rohkaise vastuullista tekijyyskäytäntöä ja jokaisen tekijän osallisuuden määrittelyä ja julkituomista.
9. Riippumatta siitä, ilmestyykö lehti avoimena vai tilauspohjaisena, poista kaikki lähdeluetteloiden uudelleen- ja jälleenkäyttörajoitukset ja tarjoa ne saataville Yleismaailmallisella Public Domain –lausumalla.
10. Antaaksesi kunnian tutkimustuloksia ensin raportoineille poista tai vähennä tutkimusartikkeleiden viitemäärien rajoituksia, ja kun sopivaa, niin vaadi käyttämään alkuperäislähteistöä katsausten asemasta.
    
    Metriikkaa tuottaville organisaatioille
    
    
11. Toimi avoimesti ja läpinäkyvästi avaamalla kaikki metriikassa käytetty data ja menetelmät.
12. Avaa data sellaisella lisenssillä, joka sallii rajoituksettoman uudelleen- ja jälleenkäytön, ja kun mahdollista, niin tarjoa dataan koneellinen pääsy.
13. Tee selväksi, että metriikan epäasiallista manipulointia ei suvaita; ilmaise selkeästi mikä on epäasiallista manipulointia ja mitä menetelmiä sen estämiseksi otetaan käyttöön.
14. Kun metriikkaa käytetään, kootaan tai vertaillaan, selvitä artikkelityyppien hajonta (esim. katsaukset versus tutkimusartikkelit) tieteenalakohtaisesti.
    
    Tutkijoille
    
    
15. Osallistuessasi rahoituksesta, rekrytoinnista, urapolusta tai ylentämisestä päättäviin elimiin, perusta arviointisi ennemmin tieteellisiin sisältöihin kuin julkaisumetriikkaan.
16. Viittaa aina kun se on tarkoituksenmukaista alkuperäiskirjallisuuteen, jossa havainnot on ensimmäiseksi raportoitu, äläkä niihin, jotka ovat viitanneet alkuperäislähteisiin. Näin annat kunnian sille, kenelle se kuuluu
17. Käytä lausunnoissasi ja suosituksissasi monipuolisesti artikkeliperustaista metriikkaa näyttönä yksittäisten julkaistujen artikkeleiden ja muiden tutkimustuotosten vaikuttavuudesta [11].
18. Haasta tutkimuksen arvioinnin käytännöt, jotka pohjautuvat asiaankuulumattomasti lehtien vaikuttavuuskertoimiin, ja edistä ja opeta parhaita käytäntöjä, jotka keskittyvät tutkimustuotosten arvoon ja vaikuttavuuteen.

The Metric Tide

Vuonna 2014 toiminut korkeakoulu- ja tiedeministeri David Willettsin käynnistämä selvitys, jossa tarkasteltiin erilaisten määrällisten mittareiden kattavuutta ja luotettavuutta tutkimuksen laadun arvioinnissa ja johtamisessa sekä kansallisella että organisaatiotasolla. Selvitystyö sai tukea myös Englannin korkeakoulujen rahoitusneuvostolta (HEFCE). Selvitystyötä ohjasi monialainen ohjausryhmä, joka koostui tutkimusrahoituksen, tutkimuspolitiikan, julkaisutoiminnan, skientometriikan sekä yliopiston johtamisen ja hallinnon asiantuntijoista. The Metric Tide -selvitys nostaa esiin vastuullisen metriikan pääperiaatteet:

Kattavuus : metriikan tulee perustua parhaaseen mahdolliseen dataan sekä tarkkuuden että laajuuden suhteen

Nöyryys : tunnustetaan, että määrällinen arviointi tukee laadullista asiantuntija-arviointia, mutta ei korvaa sitä

Läpinäkyvyys : tiedonkeruu ja analyyttiset prosessit pidetään avoimina ja läpinäkyvinä, että arvioinnin kohteet voivat testata ja tarkastaa tulokset

Monimuotoisuus : tarkastelussa huomioidaan tieteenalojen erilaisuus ja hyödynnetään useita indikaattoreita

Refleksiivisyys : tunnistetaan ja ennakoidaan systeemiset ja potentiaaliset indikaattorien vaikutukset ja huolehditaan niiden päivittämisestä.

Selvityksessä annetaan myös suosituksia eri toimijoille:

Korkeakouluissa tulisi luoda selkeät periaatteet tutkimuksen johtamiselle ja tutkimuksen arvioinnille mukaan lukien määrälliset indikaattorit. Tutkimushallinnon ja tutkimuksen tuen tehtävä on edistää näiden periaatteiden toteutumista.

Tutkijan arvioinnissa käytettävien kriteerien tulee olla selkeitä.

Tutkijan tulee tiedostaa yksittäiseten indikaattoreiden rajoitukset hyödyntäessään niitä omassa CV:ssä sekä muita tutkijoita arvioidessaan.

Eri toimijoiden kehittämät omat sisältöriippuvaiset periaatteet määrällisten indikaattoreiden hyödyntämiselle tutkimuksen arvioinnissa ja johtamisessa täytyy viestiä selvästi ja ymmärrettävästi, että niiden läpinäkyvyys voidaan varmistaa.

Leidenin manifesti

Leidenin tutkimusmetriikkamanifesti on julkaistu joulukuussa 2016 ja se esittää kymmenen periaatetta, joita tulisi noudattaa tutkimusta arvioitaessa. Manifesti on syntynyt tarpeesta puuttua tutkimusmetriikan väärinkäyttöön, kuten hakijan h-indeksin pyytäminen rekrytointitilanteessa; ylennyspäätösten perustaminen h-indeksiin ja korkeiden vaikuttavuuskertoimien lehdissä julkaistujen artikkelin määrään; tutkimusrahoituksen tai bonusten kohdentaminen lukujen perusteella jne.

Manifestin kymmenen periaatetta eivät olleet uusia tutkimusmetriikan asiantuntijoille, mutta tämä oli ensimmäinen kerta, kun ne koottiin yhteen. Tavoitteena oli tehdä parhaiden käytäntöjen kiteytys, jotta tutkijat pystyvät tarkastelemaan niitä tapoja, joilla heitä arvioidaan, ja arvioijat voivat vastuullisesti perustella käyttämänsä mittarit eli indikattorit.

Kymmenen periaatetta

Tässä kohdassa periaatteet on esitetty hyvin lyhyesti. Täsmennykset kullekin periaatteelle löytyvät alkuperäisestä artikkelista käännöksineen.

1. Määrällisen arvioinnin pitäisi tukea laadullista asiantuntija-arviointia. 
2. Tarkastele suoritusta suhteessa instituution, ryhmän tai tutkijan omaan tutkimusmissioon.
3. Ota huomioon, että paikallisesti merkittävä tutkimus voi olla huippututkimusta.
4. Huolehdi, että aineiston kerääminen ja analyysiprosessit ovat avoimia, läpinäkyviä ja
   yksinkertaisia. 
5. Anna arvioitaville mahdollisuus tarkistaa data ja analyysit.
6. Ota huomioon tieteenalojen erot julkaisemisessa ja viittauskäytännöissä.
7. Perusta yksittäisten tutkijoiden arviointi heidän portfolionsa laadulliseen tarkasteluun.
8. Vältä väärin kohdistettua konkretiaa ja epäluotettavaa tarkkuutta.
9. Myönnä järjestelmään kuuluvat arvioinnin ja mittarien seuraukset.
10. Tutki ja päivitä mittareita säännöllisesti.

Helsinki Initiative on Multilingualism in Scholarly Communication (Monikielisen tiedeviestinnän Helsinki-aloite)

Monikielisen tiedeviestinnän Helsinki-aloitteella on useita tavoitteita. Pyrkimyksenä on suojella monikielisyyttä, jotta paikallisesti tärkeä tutkimus pysyisi elossa. Edelleen halutaan edistää vaikuttavuutta, jota palvelee tutkimustulosten levittäminen omalla kielellä. Myös vuorovaikutus yhteiskunnan kanssa ja tiedon jakaminen tiedeyhteisön ulkopuolelle tarvitsevat tukea. Lisäksi kannustetaan huolehtimaan tieteellisen viestinnän kansallisella kielellä olevista hauraista infrastruktuureista.

(Alla on suora lainaus Helsinki Initiativen sivulta - saako olla näin vai pitäisikö muokata?)

Monikielisen tiedeviestinnän Helsinki-aloitteen allekirjoittajat kannattavat, että päätöksentekijät, yliopistot, ammattikorkeakoulut, tutkimuslaitokset, tutkimusrahoittajat, kirjastot ja tutkijat noudattavat seuraavia suosituksia.

1. Tue tutkimustulosten levittämistä, jotta yhteiskunta hyötyy niistä täysipainoisesti.

• Varmista, että tutkijan ansioihin luetaan tutkimustulosten levittäminen tutkimusyhteisöä laajemmalle yleisölle sekä vuorovaikutus perinteiden, kulttuurin ja yhteiskunnan kanssa.
• Varmista, että yhtäläinen pääsy tutkimustietoon on tarjolla useilla kielillä.

2. Huolehdi kansallisista infrastruktuureista, jotka mahdollistavat paikallisesti tärkeän tutkimuksen julkaisemisen.

• Varmista, että voittoa tavoittelemattomat tiedelehdet ja tieteelliset kustantajat saavat tarpeeksi resursseja ja tukea, jotta laadun varmentamisessa ja tutkimusintegriteetissä voidaan pitää yllä korkeita standardeja.
• Varmista, että kansalliset tiedelehdet ja tieteelliset kustantajat voivat siirtyä hallitusti ja turvallisesti avoimeen julkaisemiseen.

3. Edistä kielten moninaisuutta tutkimuksen arvioinnissa, arvostamisessa ja rahoittamisessa.

• Varmista, että asiantuntija-arvioinnissa arvostetaan laadukasta tutkimusta, olipa julkaisukieli tai -kanava mikä tahansa.
• Varmista, että metriikkaan perustuvissa arviointijärjestelmissä huomioidaan riittävällä tavalla kaikilla kielillä julkaistut artikkelit ja monografiat.

Monikielisen tiedeviestinnän Helsinki-aloitteen ovat valmistaneet Tieteellisten seurain valtuuskunta (TSV), Tiedonjulkistamisen neuvottelukunta (TJNK), Suomen tiedekustantajien liitto, Universities Norway (UHR) ja COST-toimi "European Network for Research Evaluation in the Social Sciences and the Humanities" (ENRESSH).