Evaluation of articles
Number of citations
The most common way to evaluate articles is to examine the citations they have received (linkki). The number of citations received by articles is usually examined in the Web of Science, Scopus and Dimensions databases or via Google Scholar. The content of the database affects the number of citations: databases do not cover all fields of science in the same depth. On the other hand, the advantage of the above databases is that you can get detailed information about their content. Google Scholar is more extensive than the databases, but there is no information on its coverage available.
The rate at which articles receive citations varies considerably from one field of science to another: in some fields, citations start to accumulate almost immediately, in others there is a long delay. The subject of the article may also have an impact on the accumulation of citations: an article on a subject that is new and potentially challenges the prevailing research paradigm often gets more citations after a longer delay. When examining the number of citations, it is worth considering the time frame: How old should the articles be for them to be relevant in terms of the number of citations?
The number of citations alone does not tell anything about the impact of an article either but should be compared to the average number of citations received by articles in the same field of science. Field-normalised citation indicators reflect the impact of the publication set in its field of science. These indicators describe the ratio of the number of citations of a publication or set of publications to the average number of citations of publications of the same publication type in the same field of research in the same year. Read more in the chapter Field-normalised citation indicators (linkki).
When assessing citation counts, it is worth bearing in mind that citations are made for many reasons, including in a critical and contradictory sense, as a demonstration of academic scholarship and as a courtesy to the authorities or referees in the field. Recently, there has been a growing interest in this context of citations (linkki).
Avoimuus
Tutkimusjulkaisujen avoimen saatavuuden linjauksen mukaan kaikki uudet tieteelliset artikkeli- ja konferenssijulkaisut tulee saattaa välittömästi avoimesti saataville. Julkaisujen arvioinnissa voidaan siis arvioida erikseen artikkelin avoimuutta. Avoin julkaiseminen vaikuttaa yleensä myös viittausmääriin.
Artikkelien avoimuutta arvioitaessa on huomioitava, että korkeat kirjoittajamaksut ja/ tai lehtien julkaisupolitiikat voivat estää artikkelin avoimen julkaisemisen, vaikka kirjoittajat sitä haluaisivatkin.
Kansainvälinen tai kansallinen tutkimusyhteistyö
Artikkeleita voidaan arvioida myös yhteistyön näkökulmasta. Useimpien tutkimusorganisaatioiden tavoitteena on tukea tutkimuksen kansainvälisyyttä – tämän toteutumista voidaan seurata tarkastelemalla artikkelien tekijöiden organisaatio- ja maatietoja.
Artikkelin tekijöiden organisaatio- ja maatietoja on mahdollista tarkastella esimerkiksi organisaatioiden omista tutkimustietojärjestelmistä ja kansainvälisistä monitieteisistä viittaustietokannoista kuten Web of Science, Scopus ja Dimensions. On kuitenkin hyvä muistaa, että kansainväliset viittaustietokannat sisältävät heikosti muuta kuin englanninkielistä aineistoa, joten tutkimuksen kansainvälisyyden mittaaminen viittaustietokantoihin indeksoidun aineiston perusteella, saattaa rajoittua ainoastaan englanninkieliseen tutkimukseen.
Myös kansallisen tason yhteistyötä voidaan arvioida samalla tavalla. Lisäksi tekijätietojen avulla voidaan saada tietoa mahdollisesta yhteistyöstä yritysmaailman kanssa. On kuitenkin huomioitava, että kaikilla aloilla luontevaa kansainvälistä yhteistyötä on vaikeaa tehdä: esimerkiksi oikeustieteessä suuri osa tutkimuksesta on kansallista.
Altmetriikka
Altmetriikan avulla voidaan tunnistaa nopeasti julkaisujen saamaa huomiota. Mikäli julkaisulla on pysyvä tunniste (DOI, ISBN, URN) sen keräämiä mainintoja mm. sosiaalisessa mediassa (Twitter, Facebook) ja uutissivustoilla voidaan seurata ja näin saada kuva artikkelin yhteiskunnallisesta näkyvyydestä.