Julkaisumetriikkaa hyödyntävissä analyyseissa tarkastellaan tyypillisesti vertaisarvioituja julkaisuja. Tieteellisten julkaisujen vertaisarvioinnilla (peer review) tarkoitetaan menettelyä, jossa tutkimustuloksia julkaiseva lehti, konferenssi tai kirjakustantaja pyytää tieteenalan asiantuntijoita suorittamaan ennakkoarvion julkaistavaksi tarjottujen käsikirjoitusten tieteellisestä julkaisukelpoisuudesta. Vertaisarviointia hyödynnetään myös muissa tutkimuksen arviointiprosesseissa. Julkaisuja arvioitaessa arvioijat (referee) ovat toimituksen ulkopuolisia ja suhteessa arvioitavaan käsikirjoitukseen riippumattomia väitelleitä tutkijoita tai muita tieteenalan asiantuntijoita. Vertaisarviointi on osa tutkimuksen julkaisuprosessia (Kuva 1).
Kuva 1. Vertaisarviointi osana tieteellisen julkaisun julkaisuprosessia.
Vertaisarviointiprosessissa arvioidaan aineiston kattavuutta, teoreettisen viitekehyksen hallintaa, tutkimuksen toteutuksen luotettavuutta ja tarkkuutta, sekä tulosten omaperäisyyttä ja uutuusarvoa suhteessa aiempaan tutkimukseen tieteenalalle ominaisella tavalla. Prosessissa arvioidaan myös käsikirjoituksen sopivuutta julkaisukanavaan sekä pyritään parantamaan käsikirjoituksen laatua. Kukin arvioija esittää joko julkaisuehdotuksen hylkäämistä (reject) tai sen hyväksymistä sellaisenaan tai määrätyin muutoksin (minor/major revision). Arvioijat toimittavat julkaisijalle arvioidusta tekstistä kirjallisen arviointilausunnon (referee-lausunto). Toisinaan julkaisu käy läpi useamman vertaisarviointikierroksen ennen lopullista julkaisu- tai hylkäyspäätöstä.
Erilaisia vertaisarvioinnin tapoja
Vertaisarviointikäytännöt vaihtelevat jossain määrin tieteenalojen välillä, mutta vertaisarvioinnin toteutuksessa olennaista on aina arvioijien riippumattomuus. Riippumattomuuden varmistamiseksi on kehitetty erilaisia vertaisarvioinnin tapoja.
Niin kutsutussa kaksoissokkoarvioinnissa (double blind review) sekä kirjoittajan että arvioijan henkilöllisyys salataan. Tätä tapaa suositaan erityisesti yhteiskuntatieteissä ja humanistisilla aloilla. Arviointi voidaan toteuttaa myös yksöissokkomenetelmällä (single blind review), jolloin vain arvioijan henkilöllisyys pysyy anonyyminä. Tämä tapa on tyypillisempi luonnontieteiden, teknologian, insinööritieteiden ja lääketieteen aloilla. Vertaisarviointi voidaan toteuttaa myös avoimesti. Tällöin avoimuus voi koskea kirjoittajien ja arvioijien identiteettejä ja/tai arviointilausuntoja. Avoin arviointi (open peer review) voidaan toteuttaa perinteiseen tapaan ennen julkaisemista (preprint) tai julkaisemisen jälkeen (postprint). Avoimessa arvioinnissa on myös erilaisia tapoja sen suhteen kutsutaanko prosessiin tietyt vertaisarvioijat vai avataanko arviointi laajemmalle yhteisölle. Avoimen arvioinnin ongelmana on, että kaikki tutkijat eivät ole halukkaita toimimaan arvioijina silloin, kun arviointi ei ole nimetöntä.
Riippumattomien asiantuntijoiden suorittamaa vertaisarviointia ei pidä sekoittaa toimitukselliseen arviointiin (editorial review), jossa arvioidaan tekstin sopivuutta mm. konferenssin tai kokoomateoksen muuhun sisältöön. Myöskään toisen samaan kirjaan kirjoittaneen tekemää arviota ei voida pitää riippumattomana arviointina, ellei kyseessä ole molempiin suuntiin anonyymi kaksoissokkoarviointi. Jotkin lehdet antavat kaikkien halukkaiden kommentoida lehdessä julkaistuja artikkeleita niiden julkaisemisen jälkeen Internetissä keskusteluin, joihin myös artikkelien kirjoittajat osallistuvat (Open peer commentary). Tätä ei pidetä kuitenkaan perinteisenä vertaisarviointina.
Vertaisarvioitujen julkaisujen tunnistaminen
Vertaisarviointia edellytetään OKM:n julkaisutyyppeihin A1, A2, A3, A4, C1 ja C2 kuuluvilta julkaisuilta (ks. Julkaisu-luvun Taulukko 2). Julkaisun vertaisarviointikäytännöistä ilmoitetaan julkaisukanavassa. Myös Ulrichsweb-palvelusta voi tarkistaa, onko lehti vertaisarvioitu. Tietokannoista Web of Science ja Scopus indeksoivat artikkeleita vain vertaisarviointia käyttävistä lehdistä. Samassa julkaisukanavassa voidaan kuitenkin julkaista sekä vertaisarvioituja että arvioimattomia julkaisuja (esim. pääkirjoitukset). Tietyillä tieteenaloilla on myös tavanomaista, että esimerkiksi artikkeli julkaistaan julkaisuarkistossa (esim. ArXiv, Zenodo) ennen vertaisarviointia.
Suomalaiset tiedekustantajat voivat hakea Tieteellisten seurain valtuuskunnan myöntämää Vertaisarviointitunnusta, joka kertoo, että kyseisen julkaisun vertaisarviointi on toteutettu kansainvälisen tiedeyhteisön noudattamien laadullisten ja eettisten vaatimusten mukaisesti. Käyttöoikeuden myöntäminen edellyttää, että tieteelliset julkaisut läpikäyvät vähintään kahden riippumattoman asiantuntijan suorittaman ennakkoarvioinnin. Lisäksi kustantaja sitoutuu täyttämään muut käyttöoikeudelle asetetut ehdot. Tunnuksen hakeminen on maksutonta eikä siihen liity jäsenyysehtoja.
Vertaisarvioinnin ongelmia
Vaikka vertaisarviointia pidetäänkin yleensä hyödyllisenä, se ei kuitenkaan ole ongelmatonta ja sitä on kritisoitu. Vertaisarviointiin liittyviä ongelmia ovat ennen kaikkea julkaisuprosessin hidastuminen ja vinoumien (bias) vaikutus arviointiin. Arvioija voi syrjiä esimerkiksi kirjoittajia iän, sukupuolen, uravaiheen tai affiliaation perusteella tai suosia omia mielipiteitään tukevia tulkintoja. Vertaisarvioinnissa ei myöskään välttämättä havaita käsikirjoituksen vakavia virheitä ja puutteita, vaan ne saattavat tulla ilmi vasta artikkelin julkaisemisen jälkeen. Erityisesti pienillä tieteenaloilla ja pienissä maissa, kuten Suomi, kirjoittajat tunnistavat helposti toistensa työn, vaikka arviointi toteutettaisiin anonyymisti. Sopivien arvioijien rekrytointi voi myös olla haasteellista. Vertaisarviointi voi myös mahdollistaa plagioinnin, jolloin arvioija käyttää väärin käsikirjoituksen julkaisematonta aineistoa. Ongelmat vertaisarvioinnissa ovat kuitenkin melko harvinaisia ja keskeisempi kysymys onkin sen vaikuttavuus julkaisujen laatuun. Vertaisarvioinnin vaikuttavuutta ei ole kovin paljon tutkittu, ja tutkimuksia on tehty lähinnä biolääketieteen alan lehdistä.
Lähteet
Jubb, M. (2016) Peer review: The current landscape and future trends. Learned Publishing, 29(1), pp. 13-21. Saatavilla: https://doi.org/10.1002/leap.1008
Jytilä, R. ja Laakso, M. (2019) Selvitys avoimesta vertaisarvioinnista kotimaisen tiedejulkaisemisen kentällä. Tieteellisten seurain valtuuskunnan verkkojulkaisuja 5. Saatavilla: https://doi.org/10.23847/978-952-599516-9
Ross-Hellauer T. (2017) What is open peer review? A systematic review [version 2; peer review: 4 approved]. F1000Research 2017, 6, p. 588. Saatavilla: https://doi.org/10.12688/f1000research.11369.2
Vertaisarviointunnus (ei päiväystä) Saatavilla: https://www.tsv.fi/fi/palvelut/tunnus
Weller, A. C. (2001) Editorial peer review: Its strengths and weaknesses. Information Today, Inc.