Kirjaudu Wikiin oikeasta yläkulmasta, jos haluat kommentoida opasta.

|

Log in from the top right corner if you want to comment on the guide.

You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 6 Next »

The methods and forms of publishing vary in different fields of science. Evaluation based on citation data is most appropriate for the fields of science that publish primarily international journal articles. In fields that focus on books and conferences, other evaluation methods should also be used. Scientific research is most typically published in peer-reviewed publications.

A peer-reviewed article can be a research article (original research article), a review article (literature review, systematic review) or a conference article, i.e. a study presented at a scientific conference. In addition to these, data articles are also published.

Not all material published in peer-reviewed publication channels has undergone peer review: this material includes brief case reports, brief review articles and editorials.

When evaluating articles, it should be noted that the type of article itself can affect the attention it receives. For example, conference articles may only be available to a small audience, on a website restricted to those attending the conference.

Article types also have an impact on the number of citations: review articles tend to get more citations than research articles or conference articles.


Learn more about articles in the Publication section of this guide

 julkaisu-osiosta.


Evaluation of articles

Number of citations

The most common way to evaluate articles is to examine the citations they have received (linkki). The number of citations received by articles is usually examined in the Web of Science, Scopus and Dimensions databases or via Google Scholar. The content of the database affects the number of citations: databases do not cover all fields of science in the same depth. On the other hand, the advantage of the above databases is that you can get detailed information about their content. Google Scholar is more extensive than the databases, but there is no information on its coverage available. 

The rate at which articles receive citations varies considerably from one field of science to another: in some fields, citations start to accumulate almost immediately, in others there is a long delay. The subject of the article may also have an impact on the accumulation of citations: an article on a subject that is new and potentially challenges the prevailing research paradigm often gets more citations after a longer delay. When examining the number of citations, it is worth considering the time frame: How old should the articles be for them to be relevant in terms of the number of citations?

The number of citations alone does not tell anything about the impact of an article either but should be compared to the average number of citations received by articles in the same field of science.  Field-normalised citation indicators reflect the impact of the publication set in its field of science. These indicators describe the ratio of the number of citations of a publication or set of publications to the average number of citations of publications of the same publication type in the same field of research in the same year. Read more in the chapter Field-normalised citation indicators (linkki).

When assessing citation counts, it is worth bearing in mind that citations are made for many reasons, including in a critical and contradictory sense, as a demonstration of academic scholarship and as a courtesy to the authorities or referees in the field. Recently, there has been a growing interest in this context of citations (linkki).



Avoimuus

Tutkimusjulkaisujen avoimen saatavuuden linjauksen mukaan kaikki uudet tieteelliset artikkeli- ja konferenssijulkaisut tulee saattaa välittömästi avoimesti saataville. Julkaisujen arvioinnissa voidaan siis arvioida erikseen artikkelin avoimuutta. Avoin julkaiseminen vaikuttaa yleensä myös viittausmääriin. 

Artikkelien avoimuutta arvioitaessa on huomioitava, että korkeat kirjoittajamaksut ja/ tai lehtien julkaisupolitiikat voivat estää artikkelin avoimen julkaisemisen, vaikka kirjoittajat sitä haluaisivatkin.

Kansainvälinen tai kansallinen tutkimusyhteistyö


Artikkeleita voidaan arvioida myös yhteistyön näkökulmasta. Useimpien tutkimusorganisaatioiden tavoitteena on tukea tutkimuksen kansainvälisyyttä – tämän toteutumista voidaan seurata tarkastelemalla artikkelien tekijöiden organisaatio- ja maatietoja. 

Artikkelin tekijöiden organisaatio- ja maatietoja on mahdollista tarkastella esimerkiksi organisaatioiden omista tutkimustietojärjestelmistä ja kansainvälisistä monitieteisistä viittaustietokannoista kuten Web of Science, Scopus ja Dimensions. On kuitenkin hyvä muistaa, että kansainväliset viittaustietokannat sisältävät heikosti muuta kuin englanninkielistä aineistoa, joten tutkimuksen kansainvälisyyden mittaaminen viittaustietokantoihin indeksoidun aineiston perusteella, saattaa rajoittua ainoastaan englanninkieliseen tutkimukseen.

Myös kansallisen tason yhteistyötä voidaan arvioida samalla tavalla. Lisäksi tekijätietojen avulla voidaan saada tietoa mahdollisesta yhteistyöstä yritysmaailman kanssa. On kuitenkin huomioitava, että kaikilla aloilla luontevaa kansainvälistä yhteistyötä on vaikeaa tehdä: esimerkiksi oikeustieteessä suuri osa tutkimuksesta on kansallista. 
 

Altmetriikka


Altmetriikan avulla voidaan tunnistaa nopeasti julkaisujen saamaa huomiota. Mikäli julkaisulla on pysyvä tunniste (DOI, ISBN, URN) sen keräämiä mainintoja mm. sosiaalisessa mediassa (Twitter, Facebook) ja uutissivustoilla voidaan seurata ja näin saada kuva artikkelin yhteiskunnallisesta näkyvyydestä. 


Artikkelien vastuullinen analysointi

Vastuullisen metriikan suosituksissa korostetaan artikkelien arvioinnissa laadullisen arvionnin ensisijaisuutta ja sitä, ettei määrällisille indikaattoreille tulisi antaa liikaa painoarvoa artikkelien arvioinnissa.

Lisäksi suosituksissa korostetaan  että yksittäistä artikkelia ei tule arvioida julkaisukanavien arvioinnissa käytettävillä indikaattoreilla.

Artikkeleita ei pitäisi myöskään arvioida yksittäisellä indikaattorilla, vaan tarjota useita eri mittareita.  

  • DORA-julistuksessa rohkaistaan siirtymään julkaisukanavaan perustuvasta metriikasta arviointiin, joka perustuu artikkelin tieteellisen sisältöön. Erityisesti kannustetaan välttämään lehtien vaikuttavuuskertoimia (impact factor-arvot) artikkelin laadun mittaamisen korvikkeena.
  • Julkaisufoorumin käyttöohjeessa korostetaan että JUFO-luokitukset on tarkoitettu suurten julkaisumäärien keskimääräisen laadun arviointiin, ei yksittäisen tutkijan tai artikkelin arviointiin.
  • No labels