Artikkelien arviointi
Artikkelien arviointi
Info |
---|
- yleistä artikkelien arvioinnista (alakohtaiset erot yms.)
- Artikkelien arviointia viittausten pohjalta (liittyy vahvasti edelliseen kappaleeseen)
- Lehtien arvioinnin kautta
- Esimerkkejä artikkelien top-listauksista
|
Viittausmäärät
Yleisin tapa arvioida artikkeleita on niiden keräämien viittausten tarkastelu. Artikkelien saamia viittausmääriä tarkastellaan yleensä Web of Science, Scopus ja Dimensions –tietokannoista tai Google Scholarin kautta. Viittausmäärään vaikuttaa tietokannan sisältö: ne eivät kata kaikkia tieteenaloja yhtä perusteellisesti. Toisaalta edellämainittujen edellä mainittujen tietokantojen etu on se, että niiden sisällöstä saa yksityiskohtaista tietoa. Google Scholar on tietokantoja laajempi, mutta tietoja sen kattavuudesta ei ole saatavilla.
Eri tieteenaloilla artikkelit saavat viittauksia hyvinkin eri tahdilla: joillain aloilla viittauksia alkaa kertyä miltei välittömästi, toisilla hyvinkin pitkällä viiveellä. Viittausten kertymiseen voi vaikuttaa myös artikkelin aihe: uudesta ja mahdollisesti vallitsevaa tutkimusparadigmaa haastavasta aiheesta kirjoitettu artikkeli saa usein viittauksia pidemmällä viiveellä. Viittausmääriä tutkittaessa kannattaakin huomioida aikaikkuna: miten uusista artikkeleista kannattaa edes etsiä viittausmääriä.
Pelkkä viittausmäärä ei sinällään myöskään kerro mitään artikkelin vaikuttavuudesta, vaan se on suhteutettava saman tieteenalan artikkeleiden keskimäärin saamiin viittausmääriin. Tätä varten on olemassa omia indikaattoreita, esimerkiksi Field-Weighted Citation Impact (FWCI), joka suhteuttaa viittausten määrän tieteenalansa keskiarvoon. Indikaattoria käytetään Scopus ja SciVal –tietokannoissa. Samankaltainen indikaattori löytyy myös InCitesissa (Category normalized citation impact (CNCI). Tieteenalanormalisoidut viittausindikaattorit kertovat julkaisujoukon vaikuttavuudesta tieteenalallaan. Nämä indikaattorit kuvaavat julkaisun tai julkaisujoukon saaman viittausmäärän suhdetta samalla tutkimusalalla, samana vuonna ilmestyneiden samaa julkaisutyyppiä olevien julkaisujen viittausten keskiarvoon. Lue lisää luvusta Tieteenalanormalisoidut viittausindikaattorit.
Viittausmääriä arvioitaessa on hyvä pitää mielessä, että viittauksia tehdään monesta syystä, myös kriittisessä ja kiistävässä merkityksessä, oppineisuuden osoituksena, kohteliaisuutena alan auktoriteetteja tai vertaisarvioijia kohtaan. Tästä viittausten kontekstista on viime aikoina kiinnostuttu yhä enenevässä määrin.
Avoimuus
Tutkimusjulkaisujen avoimen saatavuuden linjauksen mukaan kaikki uudet tieteelliset artikkeli- ja konferenssijulkaisut tulee saattaa välittömästi avoimesti saataville. Julkaisujen arvioinnissa voidaan siis arvioida erikseen artikkelin avoimuutta. Avoin julkaiseminen vaikuttaa yleensä myös viittausmääriin.
Artikkelien avoimuutta arvioitaessa on huomioitava, että korkeat kirjoittajamaksut ja/ tai lehtien julkaisupolitiikat voivat estää artikkelin avoimen julkaisemisen, vaikka kirjoittajat sitä haluaisivatkin.
Kansainvälinen tai kansallinen tutkimusyhteistyö
Artikkeleita voidaan arvioida myös yhteistyön näkökulmasta. Useimpien tutkimusorganisaatioiden tavoitteena on tukea tutkimuksen kansainvälisyyttä – tämän toteutumista voidaan seurata tarkastelemalla artikkelien tekijöiden organisaatio- ja maatietoja.
Artikkelin tekijöiden organisaatio- ja maatietoja on mahdollista tarkastella esimerkiksi organisaatioiden omista tutkimustietojärjestelmistä ja kansainvälisistä monitieteisistä viittaustietokannoista kuten Web of Science, Scopus ja Dimensions. On kuitenkin hyvä muistaa, että kansainväliset viittaustietokannat sisältävät heikosti muuta kuin englanninkielistä aineistoa, joten tutkimuksen kansainvälisyyden mittaaminen viittaustietokantoihin indeksoidun aineiston perusteella, saattaa rajoittua ainoastaan englanninkieliseen tutkimukseen.
Myös kansallisen tason yhteistyötä voidaan arvioida samalla tavalla. Lisäksi tekijätietojen avulla voidaan saada tietoa mahdollisesta yhteistyöstä yritysmaailman kanssa.
On kuitenkin huomioitava, että kaikilla aloilla luontevaa kansainvälistä yhteistyötä on vaikeaa tehdä: esimerkiksi oikeustieteessä suuri osa tutkimuksesta on kansallista.
Altmetriikka
Altmetriikan avulla voidaan tunnistaa nopeasti julkaisujen saamaa huomiota. Mikäli julkaisulla on pysyvä tunniste (DOI, ISBN, URN) sen keräämiä mainintoja mm. sosiaalisessa mediassa (Twitter, Facebook) ja uutissivustoilla voidaan seurata ja näin saada kuva artikkelin yhteiskunnallisesta näkyvyydestä.
Lehtien arvioinnin välineet
Lehtien laatua voidaan arvioidaan esimerkiksi erilaisilla listauksilla (esim. Julkaisufoorumin julkaisukanavat) tai viittausindikaattoreilla (esim. Impact factor-arvot).Yksittäistä artikkelia ei tule arvioida lehtien arvioinnissa käytettävillä indikaattoreilla.