Indicators of scientific impact are mainly based on the number of citations received by publications. The number of citations received by publications, the average number of citations for a set of publications and the h-index are examples of citation impact indicators. Disciplinary differences regarding citation practices, age of publications and publication types have been taken into account in the normalised citation impact indicators.

The number of citations

The number of citations received by the publication shows how much it has been used in research since its publication. The citations can be thought to indicate the benefit of the research presented in the publication to the research community, and thus its impact. However, impact is a broad concept, and it can be interpreted in many different ways, so we will use the term citation impact in this guide.  Learn more about the number of citations as an impact indicator in the chapter Citations (link).

Responsible use

• Consider the different publishing and citation practices of different fields of science as well as the publications’ publishing date.
• The number of citations is database dependent. The coverage of publications from different disciplines in databases may vary greatly.
• See also the questions related to responsible evaluation from the page Indicators.

Mean number of citations

The mean number of citations can be calculated for different publication sets. The mean values are utilised, for example, in normalised indicators. However, for skewed citation distributions, mean values may not always be an illustrative indicators.

Responsible use

• Consider the different publishing and citation practices of different fields of science as well as the publication date.
• The number of citations is database dependent. The coverage of publications from different disciplines in databases may vary greatly.
• Review how well the mean value describes your material. Means often do not depict citation distributions as the distributions tend to be highly skewed. There can be great differences between mean and median values.
• Individual publications with a high number of citations can have a major impact on the mean, and are quite common.
• See also the questions related to responsible evaluation from the page Indicators.

Normalised indicators

Normalised indicators refer to indicators that take into account the publication’s field of science, age and type. Determining the publication’s field is a key step in normalisation. In databases, publications are classified under different scientific disciplines based on various grounds and methods. Many international databases use classifications based on field of science classification of publication series:  a publication (e.g. a scientific article)  is categorized to the same subject category as the publication series (e.g. a journal) in which it has been published. More information about the classifications is available in the chapter Differences between fields of science. 

Publications are grouped in terms of their age, discipline/field and publication type. A citation distribution for each group is formed by ordering publications based on their received citations. A mean value of citations is calculated for each distribution. Normalisation is based on the distibutions and mean values. The use of field-normalised indicators aims to allow for comparisons of publications accross disciplines. The sections below present these various field-normalised indicators.

Field-normalised Top% indicators

The field-normalised Top% indicators are based on the database’s field-specific citation distributions. The Top % indicators show the proportion of the analyzed publication set that belongs to the most frequently cited x percentile of the publications of the same field, publication year and publication type.  Top% indicators are used as indicators of high citation impact. For example, Top10% and Top1% demonstrate the relative share of publications reaching both high (10%) and top (1%) impact within the publication set.

Top x% -indexes

The Top x% -index show the relative proportion of the analyzed publication set that belongs to the most frequently cited x percentile of the publications of the same field, publication year and publication type. For example, a Top 1% index value exceeding one means that more than 1% of the publications in the analysed publication set belong to the most cited 1% of the field of science in question.

Example: how to calculate the Top 10% index 

• Calculate the citation distribution: In 2014, 25,000 publications were published in the field of science Y. This means that the Top 10% of the citation distribution includes 2,500 publications.
  
• The analysed group of publications: Faculty Z works within the same field of science. The researchers of this faculty published 500 publications in 2014. Of these publications, 100 are within the Top 10% of the aforementioned citation distribution. Statistically, the expected number of the faculty’s publications included in the top 10% is 50 publications, i.e. 10% of the faculty’s publications.
  
• Calculating the Top 10% index: The Top 10% index is calculated by dividing the number of the faculty’s publications within the top 10% by the expected value, i.e. 100/50 = 2.
  
• Please note that this is a simplified example; in reality,  as the publications belong to different fields of science and have been published in different years. Thus, the reviewed publications will be compared to many different citation distributions.  Additionally, the Top x% class rarely includes an exact x% of the publications, meaning that the Top 10% class hardly ever includes exactly 10% of the publications. This is due to the fact that the citation number is a discrete variable that is only assigned integer values.

Top x% -osuudet

Top x% -osuus ilmaisee, kuinka suuri %-osuus tarkasteltavasta julkaisujoukosta kuuluu saman tieteenalan, julkaisuvuoden ja -tyypin viitatuimpaan x prosenttiin.  Esimerkiksi mikäli julkaisujen Top 1% -osuus on enemmän kuin 1% tarkoittaa se, että tarkasteltavan joukon julkaisuista enemmän kuin 1% kuuluu oman tieteenalansa viitatuimman 1% joukkoon. 

Esimerkki kuinka Top 10% -osuus  lasketaan

• Muodostetaan viittausjakauma: Tieteenalalla Y on ilmestynyt 25000 julkaisua vuonna 2014. Viittausjakaumassa Top 10%:iin kuuluu siis 2500 julkaisua.
• Tarkasteltava julkaisujoukko: Samalla tieteenalalla toimii tiedekunta Z. Tiedekunnan tutkijat ovat julkaisseet vuonna 2014 500 julkaisua. Julkaisuista 100 kuuluu edellämainitun viittausjakauman Top 10%:iin.
• Top 10% osuuden laskeminen:  lasketaan tiedekunnan Top 10% kuuluvien julkaisuiden prosenttiosuus kaikista tiedekunnan julkaisuista: 100/500 *100%=20%
• huomioi että esimerkki on yksinkertainen, todellisuudessa julkaisut kuuluvat eri tieteenaloille ja ovat ilmestyneet eri vuosina -  tarkasteltavia julkaisuja verrataan siis moneen viittausjakaumaan. Lisäksi Top x% -luokka sisältää harvoin juuri täsmälleen x% julkaisuista, esimerkiksi Top 10% -luokka sisältää  tuskin koskaan täsmälleen 10 % julkaisuista. Tämä johtuu siitä että viittausmäärä on diskreetti muuttuja - se saa vain kokonaislukuarvoja.

Top x% -julkaisut

Essential Science Indicator - ja Web of Science -tietokannan Highly Cited Papers- ja Hot Papers-merkinnät ovat yksi versio Top x%-indikaattoreista.  Ne perustuvat julkaisujen tieteenalakohtaisiin viittausjakaumiin.  Highly Cited Papers- ja Hot papers- statuksen saavat julkaisut, jotka ylittävät tietokannassa määritellyt viittausten raja-arvot. 

Highly Cited papers merkinnän saavat julkaisut, jotka ovat korkeintaan 10 vuotta vanhoja ja jotka ylittävät Top 1% raja-arvon samalla alalla samana vuonna ilmestyneiden julkaisujen viittausjakaumassa. 

Hot Papers merkinnän saavat julkaisut, jotka ovat korkeintaan kaksi vuotta vanhoja ja jotka ylittävät Top 0,1% raja-arvon samalla alalla samana päivityskertana tietokantaan lisättyjen julkaisujen viittausjakaumassa. Päivitykset tehdään kahden kuukauden välein. Viittauksia laskettaessa otetaan huomioon ainoastaan viimeisimmässä päivityksessä lisättyjen julkaisujen tekemät viittaukset.

Vastuullinen käyttö

Top x% -indikaattorit pyrkivät ottamaan huomioon tieteenalojen väliset erot julkaisu- ja viittauskäytännöissä ja julkaisuajankohdan.  Ne eivät ole herkkiä yksittäisille erittäin paljon viitatuille julkaisuille.

Ota huomioon, että

• indikaattorit arvottavat vain pienen osan julkaisuista, muut julkaisut jätetään huomiotta.
• rajanveto tiettyyn prosenttiin on mielivaltainen, Top 1% ja Top 10% sijasta voisimme yhtä hyvin tarkastella Top 5%  ja Top 15%.
• perustuvat tieteenalaluokituksiin, jotka eivät ole ongelmattomia (lisätietoja kappaleesta Tieteenalaluokitukset).
• verrattain tuoreiden julkaisujen (alle 5 vuotta vanhat julkaisut) Top x%-indikaattoreita tarkasteltaessa on huomioitava, että joillain aloilla viittauskertymät ovat pieniä. Tällöin mielekästä jakaumaa, jonka perusteella Top x%-indikaattori voitaisiin laskea ei vielä ole olemassa. 
  
• eri julkaisutyyppeihin kertyy viittauksia eri tavoin, esimerkiksi konferessijulkaisu voi päästä mukaan Top x% julkaisuihin huomattavasti pienemmällä viittausmäärällä kuin lehtiartikkeli.
• tutustu myös vastuullisuuden arvioimiseen liittyviin kysymyksiin Indikaattoreita-luvussa.

Tieteenalanormalisoidut viittausindikaattorit

Tieteenalanormalisoidut viittausindikaattorit kertovat julkaisujoukon viittausvaikuttavuudesta tieteenalallaan. 

Nämä indikaattorit kuvaavat julkaisun tai julkaisujoukon saaman viittausmäärän suhdetta samalla tutkimusalalla, samana vuonna ilmestyneiden samaa julkaisutyyppiä olevien julkaisujen viittausten keskiarvoon.  Keskimääräistä viittausvaikuttavuutta vastaava arvo on 1. Sen alittavat arvot kertovat keskimääräistä pienemmästä viittausmäärästä ja sen ylittävät keskimääräistä suuremmasta viittausmäärästä. Kun yksikkö saa esimerkiksi arvon 1,78. merkitsee se 78 prosenttia maailman keskiarvoa suurempaa viittausmäärää.

Esim. kuinka Tieteenalanormalisoidut viittausindikaattorit lasketaan

Esimerkki 1. Katsausartikkeli on saanut 15 viittausta. Saman aihepiirin lehdissä, samana vuonna ilmestyneet katsausartikkelit ovat saaneet keskimäärin 12 viittausta. Katsausartikkelin normalisoitu viittausindeksi lasketaan: 15/12= 1,25.

Esimerkki 2. Kun lasketaan normalisoitua viittausindeksiä julkaisujoukolle, yksittäisten julkaisujen viittausindeksit täytyy yhdistää. Lasketaan tieteenalanormalisoitu viittausindeksi kolmen julkaisun joukolle.

Julkaisujoukon viittausindeksi on 1/3 * (1,25+1,17+2) = (1,25+1,17+2)/3 = 1,57 = 1,6

Vastuullinen käyttö

Tieteenalanormalisoidut viittausindikaattorit pyrkivät ottamaan huomioon tieteenalojen väliset erot julkaisu- ja viittauskäytännöissä ja julkaisuajankohdan.  

Ota huomioon, että

• perustuvat keskiarvoihin, jolloin yksittäiset paljon viittauksia saaneet julkaisut voivat vaikuttaa indikaattorin arvoon huomattavasti. 
• verrattain tuoreiden julkaisujen  tarkasteltaessa on huomioitava, että joillain aloilla viittauskertymät ovat pieniä, jolloin pienet muutokset viittausmäärissä johtavat suuriin muutoksiin indikaattorin arvossa. 
• perustuvat tieteenalaluokituksiin, jotka eivät ole ongelmattomia (lisätietoja kappaleesta Tieteenalaluokitukset)
• katso myös vastuullisuuden arvioimiseen liittyvät kysymykset Indikaattoreita -sivulta

Normalisoitujen indikaattoreiden toteutuksia tietokannoissa ja muissa lähteissä

H-indeksi 

Yksi tunnetuimmista bibliometrisistä indikaattoreista on h-indeksi, jota kutsutaan myös Hirsch-indeksiksi. Sen kehitti Jorge E. Hirsch vuonna 2005. Lue lisää alkuperäisestä artikkelista. 

Tutkijan h-indeksi määritellään seuraavasti: tutkijan h-indeksin arvo on h, jos h kappaletta hänen julkaisuistaan ovat jokainen saaneet vähintään h viittausta ja loput julkaisut ovat saaneet korkeintaan h viittausta.

Esimerkki.
Tutkijan h-indeksin arvo 10 tarkoittaa, että tutkijalla on 10 julkaisua, joihin kaikkiin on viitattu vähintään 10 kertaa. Hänen  mahdollisiin muihin julkaisuihinsa on viitattu korkeintaan kymmenen kertaa tai ei lainkaan. 

Esimerkki. 

Tutkijoiden h-indeksin arvo voi olla sama vaikka heidän julkaisuprofiilinsa (julkaisuidensa määrä ja niiden saamien viittausten määrä) poikkeaisivat toisistaan paljon.  

• Tutkija 1 on julkaissut viisi artikkelia joihin on viitattu seuraavasti: 9,9,7,6,5 
  
• Tutkija 2 on julkaissut 11 artikkelia, joihin on viitattu seuraavasti: 200, 150, 99, 70, 5, 4,4,3,2,1,1 
  
• Kummankin tutkijan h-indeksin arvo on 5 

Vastuullinen käyttö

• Ota huomioon tieteenalojen erilaiset julkaisu- ja viittauskäytännöt ja julkaisujen ilmestymisajankohta.
• H-indeksi on riippuvainen käytetystä tietokannasta. Eri tieteenalojen julkaisujen kattavuus eri viittaustietokannoissa voi vaihdella paljon.
• H-indeksi on riippuvainen julkaisujen määrästä. H-indeksi ei voi olla suurempi kuin julkaisujen lukumäärä. Esim. Jos tutkija on julkaissut 10 julkaisua, h-indeksin maksimiarvo on 10 vaikka kaikkiin kyseisen tutkijan julkaisuihin olisi viitattu satoja kertoja.  
• H-indeksi on kumuloituva mittari, se ei voi pienentyä. Se voidaan määritellä myös lyhyemmälle tarkastelujaksolle (esim. 5 vuotta) kuin koko uralle. 
• Julkaisujen tekijöiden lukumäärä vaikuttaa h-indeksiin. Se suosii aloja, joissa on suuret tutkimusryhmät ja tutkijoilla siten paljon julkaisuja. 
• H-indeksissä ei huomioida kirjoittajien roolia julkaisussa. Keskeinen rooli kirjoitustyössä ja muut roolit vaikuttavat yhtä paljon. 
• Tutkijan uran pituus vaikuttaa h-indeksiin. Pidempään julkaisseella tutkijalla on aloittelevaa tutkijaa suurempi todennäköisyys saada korkea h-indeksi, koska hänellä on ollut enemmän aikaa julkaista ja julkaisuilla on ollut enemmän aikaa saada viittauksia. 
• H-indeksissä ei huomioida milloin tekijä on julkaissut tai onko hän lopettanut julkaisemisen. Lopettamisen jälkeen h-indeksi voi jatkaa kasvuaan viittausten kertymisen myötä.
• Tutkijan merkittäviä yksittäisiä julkaisuja ei tule esille h-indeksissä
• Katso myös vastuullisuuden arvioimiseen liittyvät kysymykset Indikaattoreita-luvusta.

H-indeksin toteutuksia tietokannoissa