Kirjaudu Wikiin oikeasta yläkulmasta, jos haluat kommentoida opasta.

|

Log in from the top right corner if you want to comment on the guide.

Julkaisemisen tavat ja muodot vaihtelevat eri tieteenaloilla. Viittaustietoihin perustuva arviointi soveltuu parhaiten tieteenaloille, joilla julkaistaan pääosin kansainvälisiä lehtiartikkeleita. Kirja- ja konferenssipainotteisilla aloilla on syytä käyttää myös muita arviointimenetelmiä. Yleisimmin tieteellinen tutkimus julkaistaan vertaisarvioiduissa julkaisuissa.

Vertaisarvioitu artikkeli voi olla tutkimusartikkeli eli alkuperäisartikkeli (original article), katsausartikkeli (review article, literature review, systematic review) tai konferenssiartikkeli eli tieteellisessä konferenssissa esitelty tutkimus. Lisäksi julkaistaan data-artikkeleita.

Kaikki vertaisarvioiduissa julkaisukanavissa julkaistava aineisto ei ole käynyt läpi vertaisarviointia: tällaista aineistoa ovat esimerkiksi lyhyet tutkimusselostukset (case report), lyhyet katsausartikkelit ja pääkirjoitukset (editorial).

Artikkeleita arvioitaessa on hyvä huomioida, että artikkelityyppi voi itsessään vaikuttaa artikkelin saamaan huomioon. Esimerkiksi konferenssiartikkelit saattavat olla vain pienen yleisön saatavilla, konferenssin osallistujille rajatulla verkkosivulla.

Artikkelityypillä on vaikutusta myös viittausmääriin: katsausartikkelit keräävät tavallisesti enemmän viittauksia kuin tutkimus- tai konferenssiartikkelit.

Lue lisää artikkeleista tämän oppaan julkaisu-osiosta.


Artikkelien arviointi

Viittausmäärät

Yleisin tapa arvioida artikkeleita on niiden keräämien viittausten tarkastelu. Artikkelien saamia viittausmääriä tarkastellaan yleensä Web of Science, Scopus ja Dimensions –tietokannoista tai Google Scholarin kautta. Viittausmäärään vaikuttaa tietokannan sisältö: ne eivät kata kaikkia tieteenaloja yhtä perusteellisesti. Toisaalta edellä mainittujen tietokantojen etu on se, että niiden sisällöstä saa yksityiskohtaista tietoa. Google Scholar on tietokantoja laajempi, mutta tietoja sen kattavuudesta ei ole saatavilla. 

Eri tieteenaloilla artikkelit saavat viittauksia hyvinkin eri tahdilla: joillain aloilla viittauksia alkaa kertyä miltei välittömästi, toisilla hyvinkin pitkällä viiveellä. Viittausten kertymiseen voi vaikuttaa myös artikkelin aihe: uudesta ja mahdollisesti vallitsevaa tutkimusparadigmaa haastavasta aiheesta kirjoitettu artikkeli saa usein viittauksia pidemmällä viiveellä. Viittausmääriä tutkittaessa kannattaakin huomioida aikaikkuna: miten uusista artikkeleista kannattaa edes etsiä viittausmääriä.

Pelkkä viittausmäärä ei sinällään myöskään kerro mitään artikkelin vaikuttavuudesta, vaan se on suhteutettava saman tieteenalan artikkeleiden keskimäärin saamiin viittausmääriin.  Tieteenalanormalisoidut viittausindikaattorit kertovat julkaisujoukon vaikuttavuudesta tieteenalallaan. Nämä indikaattorit kuvaavat julkaisun tai julkaisujoukon saaman viittausmäärän suhdetta samalla tutkimusalalla, samana vuonna ilmestyneiden samaa julkaisutyyppiä olevien julkaisujen viittausten keskiarvoon. Lue lisää luvusta Tieteenalanormalisoidut viittausindikaattorit.

Viittausmääriä arvioitaessa on hyvä pitää mielessä, että viittauksia tehdään monesta syystä, myös kriittisessä ja kiistävässä merkityksessä, oppineisuuden osoituksena, kohteliaisuutena alan auktoriteetteja tai vertaisarvioijia kohtaan. Tästä viittausten kontekstista on viime aikoina kiinnostuttu yhä enenevässä määrin. 

Avoimuus

Tutkimusjulkaisujen avoimen saatavuuden linjauksen mukaan kaikki uudet tieteelliset artikkeli- ja konferenssijulkaisut tulee saattaa välittömästi avoimesti saataville. Julkaisujen arvioinnissa voidaan siis arvioida erikseen artikkelin avoimuutta. Avoin julkaiseminen vaikuttaa yleensä myös viittausmääriin. 

Artikkelien avoimuutta arvioitaessa on huomioitava, että korkeat kirjoittajamaksut ja/ tai lehtien julkaisupolitiikat voivat estää artikkelin avoimen julkaisemisen, vaikka kirjoittajat sitä haluaisivatkin.

Kansainvälinen tai kansallinen tutkimusyhteistyö


Artikkeleita voidaan arvioida myös yhteistyön näkökulmasta. Useimpien tutkimusorganisaatioiden tavoitteena on tukea tutkimuksen kansainvälisyyttä – tämän toteutumista voidaan seurata tarkastelemalla artikkelien tekijöiden organisaatio- ja maatietoja. 

Artikkelin tekijöiden organisaatio- ja maatietoja on mahdollista tarkastella esimerkiksi organisaatioiden omista tutkimustietojärjestelmistä ja kansainvälisistä monitieteisistä viittaustietokannoista kuten Web of Science, Scopus ja Dimensions. On kuitenkin hyvä muistaa, että kansainväliset viittaustietokannat sisältävät heikosti muuta kuin englanninkielistä aineistoa, joten tutkimuksen kansainvälisyyden mittaaminen viittaustietokantoihin indeksoidun aineiston perusteella, saattaa rajoittua ainoastaan englanninkieliseen tutkimukseen.

Myös kansallisen tason yhteistyötä voidaan arvioida samalla tavalla. Lisäksi tekijätietojen avulla voidaan saada tietoa mahdollisesta yhteistyöstä yritysmaailman kanssa. On kuitenkin huomioitava, että kaikilla aloilla luontevaa kansainvälistä yhteistyötä on vaikeaa tehdä: esimerkiksi oikeustieteessä suuri osa tutkimuksesta on kansallista. 
 

Altmetriikka


Altmetriikan avulla voidaan tunnistaa nopeasti julkaisujen saamaa huomiota. Mikäli julkaisulla on pysyvä tunniste (DOI, ISBN, URN) sen keräämiä mainintoja mm. sosiaalisessa mediassa (Twitter, Facebook) ja uutissivustoilla voidaan seurata ja näin saada kuva artikkelin yhteiskunnallisesta näkyvyydestä. 


Artikkelien vastuullinen analysointi

Vastuullisen metriikan suosituksissa korostetaan artikkelien arvioinnissa laadullisen arvionnin ensisijaisuutta ja sitä, ettei määrällisille indikaattoreille tulisi antaa liikaa painoarvoa artikkelien arvioinnissa.

Lisäksi suosituksissa korostetaan  että yksittäistä artikkelia ei tule arvioida julkaisukanavien arvioinnissa käytettävillä indikaattoreilla.

Artikkeleita ei pitäisi myöskään arvioida yksittäisellä indikaattorilla, vaan tarjota useita eri mittareita.  

  • DORA-julistuksessa rohkaistaan siirtymään julkaisukanavaan perustuvasta metriikasta arviointiin, joka perustuu artikkelin tieteellisen sisältöön. Erityisesti kannustetaan välttämään lehtien vaikuttavuuskertoimia (impact factor-arvot) artikkelin laadun mittaamisen korvikkeena.
  • Julkaisufoorumin käyttöohjeessa korostetaan että JUFO-luokitukset on tarkoitettu suurten julkaisumäärien keskimääräisen laadun arviointiin, ei yksittäisen tutkijan tai artikkelin arviointiin.
  • No labels