The number of citations received by the publication shows how much it has been used as a source by other research published since its publication.

Thus, the number of citations does not directly reflect the scientific content of a publication and should not be used as a measure of scientific quality. Instead, the citations can be seen as at least an indication of the relevance of the research presented in the publication, its topicality and usefulness to the scientific community and thus its scientific impact.

A citation can be used to support a claim, but it can also be listed among many other references, without the content of the cited research having a significant impact on the author. The author may refer to other research as particularly meritorious and useful for their own research, or to say that their results support those of the cited research. On the other hand, citations also occur when claims are made that challenge or contradict each other, and when research findings are shown to be incorrect or even falsified. Authors’ self-citations to their own publications also add to the total number of citations, unless they are specifically excluded from the analysis.

At least so far, most citation analyses do not specify which content of a publication has been cited and how. However, the very essence of scientific citation is in its context and purpose. In recent years, machine-learning and the increase in computational processing power have made it possible to differentiate and analyse citations on a large scale. So far, however, developments in this area are still at an early stage, with few services available (e.g. scite_).

In practice, citation data can be obtained from citation databases. Citation databases do not extract citations from the same group of publications, and therefore the number of citations a publication receives will vary depending on which database is used. This should be taken into account in any comparisons. The major citation databases (Web of Science and Scopus) cover only a very small proportion of Finnish-language journals, and therefore the publications published by these journals are excluded from the analysis of these citation bases.

In addition, it is important to note that factors other than the scientific content of the publication and its importance also influence the accumulation of citations. For example, the field of science of the publication (Garfield, 1979; Moed et al., 1985), the number of authors and in particular, the international collaboration have a significant impact on average citation numbers. In general, the increase in the number of authors and, in particular, in the number of countries represented by the authors’ affiliations, increases the number of citations received by the publication (Adams et al., 2019).

In addition to the ones mentioned above, factors such as the language of the publication, the publication type and the visibility and reputation of the journal also have an impact on the number of citations.

As citation practices differ significantly between different fields of science (Albarrán & Ruiz-Castillo, 2011), the absolute number of citations received by publications from different fields of science are not comparable. It is more responsible to use citation indicators that are normalised by the field of science.

Citations accumulate with a considerable delay. The slowness of the scientific publication process alone means that the attention each publication receives in the form of citations in the subsequent research will only become apparent at the earliest 2–3 years after its publication (Abramo, Cicero & D’Angelo, 2011; Bornmann et al., 2014). The average length of time it takes to accumulate citations varies by the field of science. In many fields of natural sciences, publications start to receive a significant number of citations as early as two years after publication, but in fields such as mathematical sciences (Abramo et al., 2011) as well as social sciences and humanities (Albarrán & Ruiz-Castillo, 2011), the accumulation of citations is typically lower and slower. Sometimes a publication can also be significantly ahead of its time, and only receive citations years after its release.

The use of responsible metrics requires that a sufficiently long window of time is allowed for the citations to accumulate.Typically, the shortest time window used is three years. This means that after the year of publication, there will then be another two years before citation impact assessments are carried out. More information about the selection of time windows is available in the chapter Methodological points of view.

The citations do not give a full picture of the scientific impact of the publication. However, to a limited extent, they can be used as a numerical measure of scientific impact, complementing the qualitative evaluation carried out by representatives of the scientific community.

Sources

Julkaisuun tehtyjen viittausten määrä kertoo siitä, kuinka paljon sitä on hyödynnetty lähteenä ilmestymisensä jälkeen julkaistussa tutkimuksessa. 

Viittausten määrä ei siis kerro suoraan julkaisun tieteellisestä sisällöstä, eikä niitä pidä käyttää tieteellisen laadun mittarina. Sen sijaan voidaan ajatella viittausten kertovan ainakin suuntaa antavasti julkaisussa esitetyn tutkimuksen relevanssista, sen ajankohtaisuudesta ja hyödyllisyydestä tiedeyhteisölle, ja siten sen tieteellisestä vaikuttavuudesta.

Viittaus voi esiintyä tukemassa jotain väitettä, mutta myös monen muun lähteenä käytetyn julkaisun joukossa listauksenomaisesti, ilman että viitatun tutkimuksen sisältö olisi merkittävästi vaikuttanut viittaajaan. Kirjoittaja voi viitata toiseen tutkimukseen erityisen ansiokkaana ja oman tutkimuksensa mahdollistavana, tai kertoakseen tulostensa tukevan viitatun tutkimuksen tuloksia. Toisaalta viittaamista tapahtuu myös silloin, kun esitetään toisensa kyseenalaistavia tai kiistäviä väitteitä, ja silloin, kun jokin tutkimustulos osoitetaan vääräksi tai jopa valheelliseksi. Myös tekijöiden viittaukset omiin aikaisempiin julkaisuihinsa (self-citations) kartuttavat viittausten kokonaismäärää, jollei niitä erikseen poisteta tarkastelusta. 

Ainakaan toistaiseksi useimmissa viittausanalyyseissä ei eritellä sitä mihin julkaisun sisältöön on viitattu ja miten. Tieteellisen viittaamisen ydin on kuitenkin juuri sen konteksti ja tarkoitus. Koneoppiminen ja laskentatehon kasvu on viime vuosina alkanut mahdollistaa viittauksen erittelyä ja analyysiä suuressa mittakaavassa. Toistaiseksi kehitys on tässä kuitenkin vielä nuorta, ja palveluita saatavilla vasta vähän (mm. scite). 

Käytännössä viittaustietoja on saatavissa viittaustietokannoista. Viittaustietokannat eivät poimi viittauksia samasta julkaisujoukosta, ja siksi julkaisun saama viittausmäärä vaihtelee riippuen siitä mitä tietokantaa käytetään. Tämä on syytä ottaa huomioon mahdollisissa vertailuissa. Suurimmat viittaustietokannat (Web of Science ja Scopus) kattavat vain hyvin pienen osan suomenkielisistä lehdistä, ja siksi niissä ilmestyneet julkaisut jäävät näistä tehtyjen analyysien ulkopuolelle.

Lisäksi on tärkeää huomioida, että viittausten kertymiseen vaikuttavat muutkin tekijät kuin julkaisun tieteellinen sisältö ja sen painoarvo. Esimerkiksi julkaisun tieteenalan (mm. Garfield 1979, Moed et al. 1985), tekijöiden lukumäärän ja erityisesti heidän taustaorganisaatioidensa kansainvälisyyden vaikutus keskimääräisiin viittauskertymiin on merkittävä. Yleisellä tasolla tekijöiden lukumäärän ja etenkin taustaorganisaatioiden edustamien maiden määrän lisääntyminen kasvattaa julkaisun saamien viittausten määrää (Adams et al. 2019). 

Yllä mainittujen lisäksi viittausten kertymiseen vaikuttavat myös mm. julkaisun kieli, julkaisutyyppi sekä julkaisevan sarjan näkyvyys ja maine. 

Koska eri tieteenalojen viittauskäytännöt poikkeavat toisistaan merkittävästi (mm. Albarrán & Ruiz-Castillo 2011), eivät eri tieteenaloilla ilmestyneiden julkaisujen saamat absoluuttiset viittausmäärät ole keskenään vertailukelpoisia. On vastuullisempaa käyttää tieteenalakohtaisesti normalisoituja viittausindikaattoreita.

Viittaukset kertyvät pitkällä aikaviiveellä. Jo pelkästään tieteellisen julkaisuprosessin hitauden takia kunkin julkaisun viittauksina saama huomio sitä seuraavassa tutkimuksessa aletaan nähdä vasta aikaisintaan 2-3 vuoden kuluttua julkaisun ilmestymisestä (Abramo, Cicero & D’Angelo 2011, Bornmann et al. 2014). Se kuinka pitkälle aikajänteelle viittausten karttuminen keskimäärin venyy vaihtelee tieteenaloittain. Useissa luonnontieteissä viittauksia alkaa kertyä merkittävästi jo 2 vuotta vanhoille julkaisuille. Mutta mm. matemaattisissa tieteissä (Abramo et al. 2011) samoin kuin yhteiskunnallisissa ja humanistisissa tieteissä (Albarrán & Ruiz-Castillo 2011) viittauksia karttuu tyypillisesti vähemmän ja hitaammin. Joskus julkaisu voi myös olla merkittävästi aikaansa edellä, ja saada viittauksia vasta vuosien kuluttua ilmestymisestään.

Vastuullinen metriikan käyttäminen edellyttää, että viittausten karttumiselle annetaan riittävän pitkä aikaikkuna. Tavanomaisesti lyhin käytetty aikaikkuna on kolme vuotta. Julkaisujen ilmestymisvuoden jälkeen odotetaan siis vielä kaksi vuotta ennen kuin viittausvaikuttavuustarkasteluja tehdään. Lisää tietoa aikaikkunan valitsemisesta löytyy luvusta Metodologisia näkökulmia.

Viittaukset eivät kerro koko kuvaa julkaisun tieteellisestä vaikuttavuudesta. Niitä voidaan kuitenkin rajoitetussa määrin käyttää tieteellisen vaikuttavuuden numeerisena mittarina, täydentämässä tiedeyhteisön edustajien tekemää laadullista arviointia.

...

Abramo, G., Cicero, T. & D’Angelo, C.A. (2011). Assessing the varying level of impact measurement accuracy as a function of the citation window length. Journal of Informetrics, 5(4), pp.659–667. https://doi.org/10.1016/j.joi.2011.06.004

...