Citation impact indicators

Indicators of scientific impact are mainly based on the number of citations received by publications. The number of citations received by publications, the average number of citations for a set of publications and the h-index are examples of citation impact indicators. Disciplinary differences regarding citation practices, age of publications and publication types have been taken into account in the normalised citation impact indicators.

The number of citations

The number of citations received by the publication shows how much it has been used in research since its publication. The citations can be thought to indicate the benefit of the research presented in the publication to the research community, and thus its impact. However, impact is a broad concept, and it can be interpreted in many different ways, so we will use the term citation impact in this guide.  Learn more about the number of citations as an impact indicator in the chapter Citations (link).

Responsible use

• Consider the different publishing and citation practices of different fields of science as well as the publications’ publishing date.
• The number of citations is database dependent. The coverage of publications from different disciplines in databases may vary greatly.
• See also the questions related to responsible evaluation from the page Indicators.

Mean number of citations

The mean number of citations can be calculated for different publication sets. The mean values are utilised, for example, in normalised indicators. However, for skewed citation distributions, mean values may not always be an illustrative indicators.

Responsible use

• Consider the different publishing and citation practices of different fields of science as well as the publication date.
• The number of citations is database dependent. The coverage of publications from different disciplines in databases may vary greatly.
• Review how well the mean value describes your material. Means often do not depict citation distributions as the distributions tend to be highly skewed. There can be great differences between mean and median values.
• Individual publications with a high number of citations can have a major impact on the mean, and are quite common.
• See also the questions related to responsible evaluation from the page Indicators.

Normalised indicators

Normalised indicators refer to indicators that take into account the publication’s field of science, age and type. Determining the publication’s field is a key step in normalisation. In databases, publications are classified under different scientific disciplines based on various grounds and methods. Many international databases use classifications based on field of science classification of publication series:  a publication (e.g. a scientific article)  is categorized to the same subject category as the publication series (e.g. a journal) in which it has been published. More information about the classifications is available in the chapter Differences between fields of science. 

Publications are grouped in terms of their age, discipline/field and publication type. A citation distribution for each group is formed by ordering publications based on their received citations. A mean value of citations is calculated for each distribution. Normalisation is based on the distibutions and mean values. The use of field-normalised indicators aims to allow for comparisons of publications accross disciplines. The sections below present these various field-normalised indicators.

Field-normalised Top% indicators

The field-normalised Top% indicators are based on the database’s field-specific citation distributions. The Top % indicators show the proportion of the analyzed publication set that belongs to the most frequently cited x percentile of the publications of the same field, publication year and publication type.  Top% indicators are used as indicators of high citation impact. For example, Top10% and Top1% demonstrate the relative share of publications reaching both high (10%) and top (1%) impact within the publication set.

Top x% -indexes

The Top x% -index show the relative proportion of the analyzed publication set that belongs to the most frequently cited x percentile of the publications of the same field, publication year and publication type. For example, a Top 1% index value exceeding one means that more than 1% of the publications in the analysed publication set belong to the most cited 1% of the field of science in question.

Example: how to calculate the Top 10% index 

• Calculate the citation distribution: In 2014, 25,000 publications were published in the field of science Y. This means that the Top 10% of the citation distribution includes 2,500 publications.
  
• The analysed set of publications: Faculty Z works within the same field of science. The researchers of this faculty published 500 publications in 2014. Of these publications, 100 are within the Top 10% of the aforementioned citation distribution. Statistically, the expected number of the faculty’s publications included in the top 10% is 50 publications, i.e. 10% of the faculty’s publications.
  
• Calculating the Top 10% index: The Top 10% index is calculated by dividing the number of the faculty’s publications within the top 10% by the expected value, i.e. 100/50 = 2.
  
• Please note that this is a simplified example; in reality,  as the publications belong to different fields of science and have been published in different years. Thus, the analysed publications will be compared to many different citation distributions.  Additionally, the Top x% class rarely includes an exact x% of the publications, meaning that the Top 10% class hardly ever includes exactly 10% of the publications. This is due to the fact that the citation number is a discrete variable that is only assigned integer values.

Top x% shares

The Top x% share shows the percentage of the analysed publications belonging to the most frequently cited x percentile of the same field of science, publication year and publication type. For example, a value 2% for the Top 1% share means that 2% of the publications in the analysed publication set belong in the most cited 1% of the field of science in question. 

Example: how to calculate the Top 10% share

• Calculate the citation distribution: In 2014, 25,000 publications were published in the field of science Y. This means that the Top 10% of the citation distribution includes 2,500 publications.
• The analysed set of publications: Faculty Z works within the same field of science. The researchers of this faculty published 500 publications in 2014. Of these publications, 100 are within the Top 10% of the aforementioned citation distribution.
• Calculating the Top 10% share: calculate the percentage of the faculty’s publications belonging to the Top 10% of all the faculty’s publications: 100/500 * 100%=20%
• Please note that this is a simplified example; in reality, the publications belong to different fields of science and have been published in different years. Thus, the analysed publications will be compared to many different citation distributions. Additionally, the Top x% class rarely includes an exact x% of the publications, meaning that the Top 10% class hardly ever includes exactly 10% of the publications. This is due to the fact that the citation number is a discrete variable that is only assigned integer values.

Top x% publications

The Highly Cited Papers and Hot Papers of the Essential Science Indicator and Web of Science database are one version of the Top x% indicators. They are based on the publications’ field-specific citation distributions. The Highly Cited Papers and Hot Papers statuses are assigned to publications that exceed the limit values of citations determined in the database. 

The Highly Cited Papers status is granted to publications no older than ten years old that 
exceed the field-normalised limit value of citations required to belong to the Top 1% of most cited papers.

The Hot Papers status is granted to publications no older than two years old that exceed field-normalised limit value of citations required to belong to the Top 0.1% of most cited papers that were added to the database during the same update. The updates are done every two months. For Hot Papers, when counting citations, only the citations by publications that were added in the latest update will be counted.

Responsible use

The Top x% indicators seek to account for disciplinary differences regarding publication and citation practices as well as accounting for the publication date. They are not sensitive to individual publications with a high number of citations.

Remember that

• Top% indicators only assign value to a small proportion of the publications, while others are ignored.
• Drawing the limit at a certain percentile is arbitrary; instead of Top 1% and Top 10% we could just as well analyse the Top 5% and Top 15%.
• The indicators are based on classifications of fields of science that are not entirely unproblematic (more information on this can be found in the chapter Classification of fields of science (link).
• When reviewing the Top x% indicators of fairly recent publications (published less than five years ago), it should be noted that the citation numbers are low in certain fields of science. In such cases, a meaningful distribution for calculating the Top x% indicator does not yet exist. 
• Different types of publications accumulate citations in different ways. A conference publication, for example, can become included in the Top x% publications with far fewer citations than a journal article.
• See also the questions related to assessing responsibility in the chapter Indicators.

Field-normalised citation indicators

Field-normalised citation indicators reflect the citation impact of the publications in their respective scientific fields. The use of field-normalised indicators aims to allow for comparisons of citation impact of publications accross disciplines.

Nämä indikaattorit kuvaavat julkaisun tai julkaisujoukon saaman viittausmäärän suhdetta samalla tutkimusalalla, samana vuonna ilmestyneiden samaa julkaisutyyppiä olevien julkaisujen viittausten keskiarvoon.  Keskimääräistä viittausvaikuttavuutta vastaava arvo on 1. Sen alittavat arvot kertovat keskimääräistä pienemmästä viittausmäärästä ja sen ylittävät keskimääräistä suuremmasta viittausmäärästä. Kun yksikkö saa esimerkiksi arvon 1,78. merkitsee se 78 prosenttia maailman keskiarvoa suurempaa viittausmäärää.

Esim. kuinka Tieteenalanormalisoidut viittausindikaattorit lasketaan

Esimerkki 1. Katsausartikkeli on saanut 15 viittausta. Saman aihepiirin lehdissä, samana vuonna ilmestyneet katsausartikkelit ovat saaneet keskimäärin 12 viittausta. Katsausartikkelin normalisoitu viittausindeksi lasketaan: 15/12= 1,25.

Esimerkki 2. Kun lasketaan normalisoitua viittausindeksiä julkaisujoukolle, yksittäisten julkaisujen viittausindeksit täytyy yhdistää. Lasketaan tieteenalanormalisoitu viittausindeksi kolmen julkaisun joukolle.

Julkaisujoukon viittausindeksi on 1/3 * (1,25+1,17+2) = (1,25+1,17+2)/3 = 1,57 = 1,6

Vastuullinen käyttö

Tieteenalanormalisoidut viittausindikaattorit pyrkivät ottamaan huomioon tieteenalojen väliset erot julkaisu- ja viittauskäytännöissä ja julkaisuajankohdan.  

Ota huomioon, että

• perustuvat keskiarvoihin, jolloin yksittäiset paljon viittauksia saaneet julkaisut voivat vaikuttaa indikaattorin arvoon huomattavasti. 
• verrattain tuoreiden julkaisujen  tarkasteltaessa on huomioitava, että joillain aloilla viittauskertymät ovat pieniä, jolloin pienet muutokset viittausmäärissä johtavat suuriin muutoksiin indikaattorin arvossa. 
• perustuvat tieteenalaluokituksiin, jotka eivät ole ongelmattomia (lisätietoja kappaleesta Tieteenalaluokitukset)
• katso myös vastuullisuuden arvioimiseen liittyvät kysymykset Indikaattoreita -sivulta

Normalisoitujen indikaattoreiden toteutuksia tietokannoissa ja muissa lähteissä

H-indeksi 

Yksi tunnetuimmista bibliometrisistä indikaattoreista on h-indeksi, jota kutsutaan myös Hirsch-indeksiksi. Sen kehitti Jorge E. Hirsch vuonna 2005. Lue lisää alkuperäisestä artikkelista. 

Tutkijan h-indeksi määritellään seuraavasti: tutkijan h-indeksin arvo on h, jos h kappaletta hänen julkaisuistaan ovat jokainen saaneet vähintään h viittausta ja loput julkaisut ovat saaneet korkeintaan h viittausta.

Esimerkki.
Tutkijan h-indeksin arvo 10 tarkoittaa, että tutkijalla on 10 julkaisua, joihin kaikkiin on viitattu vähintään 10 kertaa. Hänen  mahdollisiin muihin julkaisuihinsa on viitattu korkeintaan kymmenen kertaa tai ei lainkaan. 

Esimerkki. 

Tutkijoiden h-indeksin arvo voi olla sama vaikka heidän julkaisuprofiilinsa (julkaisuidensa määrä ja niiden saamien viittausten määrä) poikkeaisivat toisistaan paljon.  

• Tutkija 1 on julkaissut viisi artikkelia joihin on viitattu seuraavasti: 9,9,7,6,5 
  
• Tutkija 2 on julkaissut 11 artikkelia, joihin on viitattu seuraavasti: 200, 150, 99, 70, 5, 4,4,3,2,1,1 
  
• Kummankin tutkijan h-indeksin arvo on 5 

Vastuullinen käyttö

• Ota huomioon tieteenalojen erilaiset julkaisu- ja viittauskäytännöt ja julkaisujen ilmestymisajankohta.
• H-indeksi on riippuvainen käytetystä tietokannasta. Eri tieteenalojen julkaisujen kattavuus eri viittaustietokannoissa voi vaihdella paljon.
• H-indeksi on riippuvainen julkaisujen määrästä. H-indeksi ei voi olla suurempi kuin julkaisujen lukumäärä. Esim. Jos tutkija on julkaissut 10 julkaisua, h-indeksin maksimiarvo on 10 vaikka kaikkiin kyseisen tutkijan julkaisuihin olisi viitattu satoja kertoja.  
• H-indeksi on kumuloituva mittari, se ei voi pienentyä. Se voidaan määritellä myös lyhyemmälle tarkastelujaksolle (esim. 5 vuotta) kuin koko uralle. 
• Julkaisujen tekijöiden lukumäärä vaikuttaa h-indeksiin. Se suosii aloja, joissa on suuret tutkimusryhmät ja tutkijoilla siten paljon julkaisuja. 
• H-indeksissä ei huomioida kirjoittajien roolia julkaisussa. Keskeinen rooli kirjoitustyössä ja muut roolit vaikuttavat yhtä paljon. 
• Tutkijan uran pituus vaikuttaa h-indeksiin. Pidempään julkaisseella tutkijalla on aloittelevaa tutkijaa suurempi todennäköisyys saada korkea h-indeksi, koska hänellä on ollut enemmän aikaa julkaista ja julkaisuilla on ollut enemmän aikaa saada viittauksia. 
• H-indeksissä ei huomioida milloin tekijä on julkaissut tai onko hän lopettanut julkaisemisen. Lopettamisen jälkeen h-indeksi voi jatkaa kasvuaan viittausten kertymisen myötä.
• Tutkijan merkittäviä yksittäisiä julkaisuja ei tule esille h-indeksissä
• Katso myös vastuullisuuden arvioimiseen liittyvät kysymykset Indikaattoreita-luvusta.

H-indeksin toteutuksia tietokannoissa