Artikkelien arviointi
Viittausmäärät
Yleisin tapa arvioida artikkeleita on niiden keräämien viittausten tarkastelu. Artikkelien saamia viittausmääriä tarkastellaan yleensä Web of Science, Scopus ja Dimensions –tietokannoista tai Google Scholarin kautta. Viittausmäärään vaikuttaa tietokannan sisältö: ne eivät kata kaikkia tieteenaloja yhtä perusteellisesti. Toisaalta edellä mainittujen tietokantojen etu on se, että niiden sisällöstä saa yksityiskohtaista tietoa. Google Scholar on tietokantoja laajempi, mutta tietoja sen kattavuudesta ei ole saatavilla.
Eri tieteenaloilla artikkelit saavat viittauksia hyvinkin eri tahdilla: joillain aloilla viittauksia alkaa kertyä miltei välittömästi, toisilla hyvinkin pitkällä viiveellä. Viittausten kertymiseen voi vaikuttaa myös artikkelin aihe: uudesta ja mahdollisesti vallitsevaa tutkimusparadigmaa haastavasta aiheesta kirjoitettu artikkeli saa usein viittauksia pidemmällä viiveellä. Viittausmääriä tutkittaessa kannattaakin huomioida aikaikkuna: miten uusista artikkeleista kannattaa edes etsiä viittausmääriä.
Pelkkä viittausmäärä ei sinällään myöskään kerro mitään artikkelin vaikuttavuudesta, vaan se on suhteutettava saman tieteenalan artikkeleiden keskimäärin saamiin viittausmääriin. Tieteenalanormalisoidut viittausindikaattorit kertovat julkaisujoukon vaikuttavuudesta tieteenalallaan. Nämä indikaattorit kuvaavat julkaisun tai julkaisujoukon saaman viittausmäärän suhdetta samalla tutkimusalalla, samana vuonna ilmestyneiden samaa julkaisutyyppiä olevien julkaisujen viittausten keskiarvoon. Lue lisää luvusta Tieteenalanormalisoidut viittausindikaattorit.
Viittausmääriä arvioitaessa on hyvä pitää mielessä, että viittauksia tehdään monesta syystä, myös kriittisessä ja kiistävässä merkityksessä, oppineisuuden osoituksena, kohteliaisuutena alan auktoriteetteja tai vertaisarvioijia kohtaan. Tästä viittausten kontekstista on viime aikoina kiinnostuttu yhä enenevässä määrin.
Avoimuus
Tutkimusjulkaisujen avoimen saatavuuden linjauksen mukaan kaikki uudet tieteelliset artikkeli- ja konferenssijulkaisut tulee saattaa välittömästi avoimesti saataville. Julkaisujen arvioinnissa voidaan siis arvioida erikseen artikkelin avoimuutta. Avoin julkaiseminen vaikuttaa yleensä myös viittausmääriin.
Artikkelien avoimuutta arvioitaessa on huomioitava, että korkeat kirjoittajamaksut ja/ tai lehtien julkaisupolitiikat voivat estää artikkelin avoimen julkaisemisen, vaikka kirjoittajat sitä haluaisivatkin.
Kansainvälinen tai kansallinen tutkimusyhteistyö
Artikkeleita voidaan arvioida myös yhteistyön näkökulmasta. Useimpien tutkimusorganisaatioiden tavoitteena on tukea tutkimuksen kansainvälisyyttä – tämän toteutumista voidaan seurata tarkastelemalla artikkelien tekijöiden organisaatio- ja maatietoja.
Artikkelin tekijöiden organisaatio- ja maatietoja on mahdollista tarkastella esimerkiksi organisaatioiden omista tutkimustietojärjestelmistä ja kansainvälisistä monitieteisistä viittaustietokannoista kuten Web of Science, Scopus ja Dimensions. On kuitenkin hyvä muistaa, että kansainväliset viittaustietokannat sisältävät heikosti muuta kuin englanninkielistä aineistoa, joten tutkimuksen kansainvälisyyden mittaaminen viittaustietokantoihin indeksoidun aineiston perusteella, saattaa rajoittua ainoastaan englanninkieliseen tutkimukseen.
Myös kansallisen tason yhteistyötä voidaan arvioida samalla tavalla. Lisäksi tekijätietojen avulla voidaan saada tietoa mahdollisesta yhteistyöstä yritysmaailman kanssa. On kuitenkin huomioitava, että kaikilla aloilla luontevaa kansainvälistä yhteistyötä on vaikeaa tehdä: esimerkiksi oikeustieteessä suuri osa tutkimuksesta on kansallista.
Altmetriikka
Altmetriikan avulla voidaan tunnistaa nopeasti julkaisujen saamaa huomiota. Mikäli julkaisulla on pysyvä tunniste (DOI, ISBN, URN) sen keräämiä mainintoja mm. sosiaalisessa mediassa (Twitter, Facebook) ja uutissivustoilla voidaan seurata ja näin saada kuva artikkelin yhteiskunnallisesta näkyvyydestä.