Kirjaudu Wikiin oikeasta yläkulmasta, jos haluat kommentoida opasta.

|

Log in from the top right corner if you want to comment on the guide.

You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 3 Next »

The methods and forms of publishing vary in different fields of science. Evaluation based on citation data is most appropriate for the fields of science that publish primarily international journal articles. In fields that focus on books and conferences, other evaluation methods should also be used. Scientific research is most typically published in peer-reviewed publications.

A peer-reviewed article can be a research article (original article), a review article (literature review, systematic review) or a conference article, i.e. a study presented at a scientific conference. In addition to these, data articles are also published.

Not all material published in peer-reviewed publication channels has undergone peer review: this material includes brief case reports, brief review articles and editorials.

When evaluating articles, it should be noted that the type of article itself can affect the attention it receives. For example, conference articles may only be available to a small audience, on a website restricted to those attending the conference.

Article types also have an impact on the number of citations: review articles tend to get more citations than research articles or conference articles.



Lue lisää artikkeleista tämän oppaan julkaisu-osiosta.


Artikkelien arviointi

Viittausmäärät

Yleisin tapa arvioida artikkeleita on niiden keräämien viittausten tarkastelu. Artikkelien saamia viittausmääriä tarkastellaan yleensä Web of Science, Scopus ja Dimensions –tietokannoista tai Google Scholarin kautta. Viittausmäärään vaikuttaa tietokannan sisältö: ne eivät kata kaikkia tieteenaloja yhtä perusteellisesti. Toisaalta edellä mainittujen tietokantojen etu on se, että niiden sisällöstä saa yksityiskohtaista tietoa. Google Scholar on tietokantoja laajempi, mutta tietoja sen kattavuudesta ei ole saatavilla. 

Eri tieteenaloilla artikkelit saavat viittauksia hyvinkin eri tahdilla: joillain aloilla viittauksia alkaa kertyä miltei välittömästi, toisilla hyvinkin pitkällä viiveellä. Viittausten kertymiseen voi vaikuttaa myös artikkelin aihe: uudesta ja mahdollisesti vallitsevaa tutkimusparadigmaa haastavasta aiheesta kirjoitettu artikkeli saa usein viittauksia pidemmällä viiveellä. Viittausmääriä tutkittaessa kannattaakin huomioida aikaikkuna: miten uusista artikkeleista kannattaa edes etsiä viittausmääriä.

Pelkkä viittausmäärä ei sinällään myöskään kerro mitään artikkelin vaikuttavuudesta, vaan se on suhteutettava saman tieteenalan artikkeleiden keskimäärin saamiin viittausmääriin.  Tieteenalanormalisoidut viittausindikaattorit kertovat julkaisujoukon vaikuttavuudesta tieteenalallaan. Nämä indikaattorit kuvaavat julkaisun tai julkaisujoukon saaman viittausmäärän suhdetta samalla tutkimusalalla, samana vuonna ilmestyneiden samaa julkaisutyyppiä olevien julkaisujen viittausten keskiarvoon. Lue lisää luvusta Tieteenalanormalisoidut viittausindikaattorit.

Viittausmääriä arvioitaessa on hyvä pitää mielessä, että viittauksia tehdään monesta syystä, myös kriittisessä ja kiistävässä merkityksessä, oppineisuuden osoituksena, kohteliaisuutena alan auktoriteetteja tai vertaisarvioijia kohtaan. Tästä viittausten kontekstista on viime aikoina kiinnostuttu yhä enenevässä määrin. 

Avoimuus

Tutkimusjulkaisujen avoimen saatavuuden linjauksen mukaan kaikki uudet tieteelliset artikkeli- ja konferenssijulkaisut tulee saattaa välittömästi avoimesti saataville. Julkaisujen arvioinnissa voidaan siis arvioida erikseen artikkelin avoimuutta. Avoin julkaiseminen vaikuttaa yleensä myös viittausmääriin. 

Artikkelien avoimuutta arvioitaessa on huomioitava, että korkeat kirjoittajamaksut ja/ tai lehtien julkaisupolitiikat voivat estää artikkelin avoimen julkaisemisen, vaikka kirjoittajat sitä haluaisivatkin.

Kansainvälinen tai kansallinen tutkimusyhteistyö


Artikkeleita voidaan arvioida myös yhteistyön näkökulmasta. Useimpien tutkimusorganisaatioiden tavoitteena on tukea tutkimuksen kansainvälisyyttä – tämän toteutumista voidaan seurata tarkastelemalla artikkelien tekijöiden organisaatio- ja maatietoja. 

Artikkelin tekijöiden organisaatio- ja maatietoja on mahdollista tarkastella esimerkiksi organisaatioiden omista tutkimustietojärjestelmistä ja kansainvälisistä monitieteisistä viittaustietokannoista kuten Web of Science, Scopus ja Dimensions. On kuitenkin hyvä muistaa, että kansainväliset viittaustietokannat sisältävät heikosti muuta kuin englanninkielistä aineistoa, joten tutkimuksen kansainvälisyyden mittaaminen viittaustietokantoihin indeksoidun aineiston perusteella, saattaa rajoittua ainoastaan englanninkieliseen tutkimukseen.

Myös kansallisen tason yhteistyötä voidaan arvioida samalla tavalla. Lisäksi tekijätietojen avulla voidaan saada tietoa mahdollisesta yhteistyöstä yritysmaailman kanssa. On kuitenkin huomioitava, että kaikilla aloilla luontevaa kansainvälistä yhteistyötä on vaikeaa tehdä: esimerkiksi oikeustieteessä suuri osa tutkimuksesta on kansallista. 
 

Altmetriikka


Altmetriikan avulla voidaan tunnistaa nopeasti julkaisujen saamaa huomiota. Mikäli julkaisulla on pysyvä tunniste (DOI, ISBN, URN) sen keräämiä mainintoja mm. sosiaalisessa mediassa (Twitter, Facebook) ja uutissivustoilla voidaan seurata ja näin saada kuva artikkelin yhteiskunnallisesta näkyvyydestä. 


Artikkelien vastuullinen analysointi

Vastuullisen metriikan suosituksissa korostetaan artikkelien arvioinnissa laadullisen arvionnin ensisijaisuutta ja sitä, ettei määrällisille indikaattoreille tulisi antaa liikaa painoarvoa artikkelien arvioinnissa.

Lisäksi suosituksissa korostetaan  että yksittäistä artikkelia ei tule arvioida julkaisukanavien arvioinnissa käytettävillä indikaattoreilla.

Artikkeleita ei pitäisi myöskään arvioida yksittäisellä indikaattorilla, vaan tarjota useita eri mittareita.  

  • DORA-julistuksessa rohkaistaan siirtymään julkaisukanavaan perustuvasta metriikasta arviointiin, joka perustuu artikkelin tieteellisen sisältöön. Erityisesti kannustetaan välttämään lehtien vaikuttavuuskertoimia (impact factor-arvot) artikkelin laadun mittaamisen korvikkeena.
  • Julkaisufoorumin käyttöohjeessa korostetaan että JUFO-luokitukset on tarkoitettu suurten julkaisumäärien keskimääräisen laadun arviointiin, ei yksittäisen tutkijan tai artikkelin arviointiin.
  • No labels