Vaikuttavuusindikaatorit perustuvat julkaisujen saamiin viittausmääriin. Julkaisujen saama viittausmäärä, julkaisujoukon viittausten keskiarvo ja h-indeksi ovat esimerkkejä vaikuttavuusindikaattoreista. Tieteenalojen väliset erot viittauskäytännöissä ja julkaisujen ikä on pyritty ottamaan huomioon normalisoiduissa indikaattoreissa.
Viittausten lukumäärä
Julkaisuun tehtyjen viittausten määrä kertoo siitä, kuinka paljon sitä on hyödynnetty ilmestymisensä jälkeen tehdyssä tutkimuksessa. Viittausten voidaan ajatella kertovan julkaisussa esitetyn tutkimuksen hyödyllisyydestä tiedeyhteisölle, ja siten sen tieteellisestä vaikuttavuudesta. Lue lisää viittausten lukumäärästä vaikuttavuuden indikaattorina luvusta Viittaukset.
Keskimääräinen viittausmäärä
Viittausten keskiarvo voidaan laskea erilaisille julkaisujoukoille.
Keskiarvoon vaikuttavat huomattavasti yksittäiset paljon viittauksia saaneet julkaisut.
Viittausjakaumat ovat usein vinoja, joten viittausjakauman keskiarvo ja mediaani eroavat usein toisistaan paljon.
Normalisoidut indikaattorit
Normalisoiduilla indikaattoreilla tarkoitetaan indikaattoreita, joiden laskennassa on pyritty huomioimaan julkaisun tieteenala, ikä ja julkaisutyyppi. Normalisoinnissa keskeistä on julkaisun tieteenalan määrittely. Julkaisut luokitellaan tietokannoissa erilaisiin tieteenalaluokituksiin erilaisin perustein ja menetelmin. Monissa kansainvälisissä tietokannoissa käytetään julkaisusarjojen tieteenalaluokitukseen perustuvaa luokitusta. Tällöin julkaisusarjassa (esim. lehdessä) ilmestynyt julkaisu (esim. tieteellinen artikkeli) luokitetaan kuuluvaksi samaan luokkaan kuin mihin julkaisusarja kuuluu. Lue lisää tieteenalaluokituksista luvusta Tieteenalojen välisiä eroja.
Tietokannassa saman ikäisten, samaa tieteenalaa ja samaa julkaisutyyppiä edustavien julkaisujen saamista viittausmääristä muodostetaan viittausjakauma ja lasketaan keskiarvo. Normalisointi toteutetaan näiden viittausjakaumien ja keskiarvojen avulla. Tieteenalanormalisoiduilla indikaattoreilla pyritään mahdollistamaan eri alojen julkaisujen vertailu. Alla esitellään erilaisia tieteenalanormalisoituja indikaattoreita.
Top x% -indikaattorit
Top x%-indikaattorit perustuvat tietokannan tieteenalakohtaisiin viittausjakaumiin. Top x% -indikaattorit ilmaisevat, kuinka suuri suhteellinen osuus tarkasteltavasta julkaisujoukosta kuuluu saman tieteenalan, julkaisuvuoden ja -tyypin viitatuimpaan x prosenttiin.
Top x% -indeksit
Top 1% ja Top 10% -indeksien yhtäaikainen käyttö kertoo sekä korkeaan (10%) että huippuvaikuttavuuteen (1%) yltävien julkaisujen suhteellisesta määrästä julkaisujoukossa. Esimerkiksi Top 1% -indeksin ykkösen ylittävä arvo tarkoittaa, että tarkasteltavan joukon julkaisuista enemmän kuin 1% kuuluu oman tieteenalansa viitatuimman 1% joukkoon.
Esimerkki kuinka Top 10% -indeksi lasketaan
- Muodostetaan viittausjakauma: Tieteenalalla y on ilmestynyt 25000 julkaisua vuonna 2014. Viittausjakaumassa Top 10%:iin kuuluu siis 2500 julkaisua.
- Tarkasteltava julkaisujoukko: Samalla tieteenalalla toimii tiedekunta x. Tiedekunnan tutkijat ovat julkaisseet vuonna 2014 500 julkaisua. Julkaisusta 100 kuuluu edellämainitun viittausjakauman top 10%:iin. Tilastollisesti odotusarvo tiedekunnan top 10%:ssä olevien julkaisuiden määrälle on 50 eli 10% tiedekunnan julkaisuista.
- Top 10% indeksin laskeminen: Top 10% indeksi lasketaan jakamalla laitoksen top 10% kuuluvien julkaisuiden lukumäärä odotusarvolla eli 100/50=2.
- huomioi että esimerkki on yksinkertainen, todellisuudessa julkaisut kuuluvat eri tieteenaloille ja ovat ilmestyneet eri vuosina - tarkasteltavia julkaisuja verrataaan siis moneen viittausjakaumaan.
Top x% -osuudet
Top x%-osuudet perustuvat tietokannan tieteenalakohtaisiin viittausjakaumiin. Topx% -osuus ilmaisee, kuinka suuri %-osuus tarkasteltavasta julkaisujoukosta kuuluu saman tieteenalan, julkaisuvuoden ja -tyypin viitatuimpaan x prosenttiin. Esimerkiksi mikäli julkaisujen Top1% -osuus on enemmän kuin 1% tarkoittaa se, että tarkasteltavan joukon julkaisuista enemmän kuin 1% kuuluu oman tieteenalansa viitatuimman 1% joukkoon.
Esimerkki kuinka Top 10% -osuus lasketaan
- Muodostetaan viittausjakauma: Tieteenalalla y on ilmestynyt 25000 julkaisua vuonna 2014. Viittausjakaumassa Top 10%:iin kuuluu siis 2500 julkaisua.
- Tarkasteltava julkaisujoukko: Samalla tieteenalalla toimii tiedekunta x. Tiedekunnan tutkijat ovat julkaisseet vuonna 2014 500 julkaisua. Julkaisuista 100 kuuluu edellämainitun viittausjakauman top 10%:iin.
- Top 10% osuuden laskeminen: lasketaan tiedekunnan top 10% kuuluvien julkaisuiden prosenttiosuus kaikista tiedekunnan julkaisuista: 100/500 *100%=20%
- huomioi että esimerkki on yksinkertainen, todellisuudessa julkaisut kuuluvat eri tieteenaloille ja ovat ilmestyneet eri vuosina - tarkasteltavia julkaisuja verrataaan siis moneen viittausjakaumaan.
Top x% -indikaattorien edut, ongelmat ja vastuullinen käyttö
Top x% -indikaattoreiden etuja
-eivät ole herkkiä yksittäisille erittäin paljon viitatuille julkaisuille.
Top x%-indikaattoreiden ongelmia
-indikaattorissa tarkastellaan vain pientä osaa julkaisuista, muut julkaisut jätetään huomiotta
-rajanveto tiettyyn prosenttiin on mielivaltainen, Top1% ja Top10% sijasta voisimme yhtä hyvin tarkastella Top5% ja Top15%.
-Top x% -luokka sisältää harvoin juuri täsmäälleen x% julkaisuista. Esimerkiksi Top10% -luokka sisältää tuskin koskaan täsmälleen 10 % julkaisuista tai julkaisujoukosta, jossa on 25000 julkaisua, löytyy tuskin koskaan täsmälleen 2500 julkaisun Top 10 %-luokka. Tämä johtuu siitä että viittausmäärä on diskreetti muuttuja - se saa vain kokonaislukuarvoja.
-verrattain tuoreiden julkaisujen (alle 5 vuotta vanhat julkaisut) Top x%-indeksejä tarkasteltaessa on huomioitava, että joillain aloilla viittauskertymät ovat pieniä, tällöin mielekästä jakaumaa, jonka perusteella Topx%-indikaattori voitaisiin laskea ei vielä ole olemassa.
Top x%-indikaattoreiden vastuullinen käyttö
Top x% -julkaisut
Essential Science Indicator - ja Web of Science -tietokannan Highly Cited Papers- ja Hot Papers-merkinnät ovat yksi versio Top x%-indikaattoreista. Ne perustuvat julkaisujen tieteenalakohtaisiin viittausjakaumiin. Highly Cited Papers- ja Hot papers- statuksen saavat julkaisut, jotka ylittävät tietokannassa määritellyt viittausten raja-arvot.
Highly Cited papers merkinnän saavat julkaisut, jotka ovat korkeintaan 10 vuotta vanhoja ja jotka ylittävät Top 1% raja-arvon samalla alalla samana vuonna ilmestyneiden julkaisujen viittausjakaumassa.
Hot Papers merkinnän saavat julkaisut, jotka ovat korkeintaan kaksi vuotta vanhoja ja jotka ylittävät top 0,1% raja-arvon samalla alalla samana päivityskertana tietokantaan lisättyjen julkaisujen viittausjakaumassa. Päivitykset tehdään kahden kuukauden välein. Viittauksia laskettaessa otetaan huomioon ainoastaan viimeisimmässä päivityksessä lisättyjen julkaisujen tekemät viittaukset.
Tieteenalanormalisoidut viittausindikaattorit
Normalisoidut viittausindikaattorit kuvaavat sitä, kuinka paljon enemmän tai vähemmän viittauksia julkaisut ovat keränneet suhteessa tieteenalansa keskitasoon maailmassa. Edellinnen on suora lainaus tieteen tila-julkaisusta, voiko käyttää? <COMMENT> Tieteen tila -raportti on Akatemian henkilökunnan kirjoittama, joten mahdollinen lupa pitänee pyytää sieltä. Lause on kyllä sinänsä loogisesti tosi, mutta kieliopillisesti kömpelöhkö. <END COMMENT> Indikaattorit kuvaavat julkaisun tai julkaisujoukon saaman viittausmäärän suhdetta samalla tutkimusalalla samana vuonna ilmestyneiden julkaisujen viittausten keskiarvoon. Keskimääräistä viittausvaikutusta vastaava arvo on 1. Sen alittavat arvot kertovat keskimääräistä pienemmästä viittausmäärästä ja sen ylittävät keskimääräistä suuremmasta viittausmäärästä. Kun yksikkö saa esimerkiksi arvon 1,78. merkitsee se 78 prosenttia maailman keskiarvoa suurempaa viittausvaikutusta.
Esim. kuinka Tieteenalanormalisoidut viittausindikaattorit lasketaan
Esimerkki 1. Katsausartikkeli on saanut 15 viittausta. Saman aihepiirin lehdissä, samana vuonna ilmestyneet katsausartikkelit ovat saaneet keskimäärin 12 viittausta. Katsausartikkelin normalisoitu viittausindeksi lasketaan: 15/12= 1,25.
Esimerkki 2. Kun lasketaan normalisoitua viittausindeksiä julkaisujoukolle, yksittäisten julkaisujen viittausindeksit täytyy yhdistää.
Lasketaan tieteenalanormalisoitu viittausindeksi kolmen julkaisun joukolle.
| Julkaisu | artikkelin saamat viittaukset | samanlaisten artikkelien viittausten keskiarvo | julkaisun viittausindeksi |
|---|---|---|---|
| 1. | 15 | 12 | 15/12= 1, 25 |
| 2. | 100 | 85 | 100/85=1,17 |
| 3. | 60 | 30 | 60/30=2 |
Joukon viittausindeksi on 1/3 * (1,25+1,17+2) = (1,25+1,17+2)/3 = 1,57 = 1,6
Tieteelalanormalisoitujen viittausindikaattoreiden edut, ongelmat ja vastuullinen käyttö
Tieteenalanormalisoitujen viittausindikaattoreiden etuja
-eivät ole herkkiä yksittäisille erittäin paljon viitatuille julkaisuille.
Tieteenalanormalisoitujen viittausindikaattoreiden ongelmia
-yksittäiset paljon viittauksia saaneet julkaisut voivat vaikuttaa indikaattorin arvoon huomattavasti.
-verrattain tuoreiden julkaisujen tarkasteltaessa on huomioitava, että joillain aloilla viittauskertymät ovat pieniä, jolloin pienet muutokset viittausmäärissä johtavat suuriin muutoksiin indikaattorin arvossa.
Tieteenalanormalisoitujen viittausindikaattoreiden vastuullinen käyttö
Normalisoitujen indikaattoreiden toteutuksia tietokannoissa ja muissa lähteissä
h-indeksi
h-indeksi, jota kutsutaan myös Hirsch-indeksiksi, on yksi tunnetuimmista bibliometrisista indikaattoreista. Sen kehitti Jorge E. Hirsch vuonna 2005 [https://doi.org/10.1073/pnas.0507655102].
h-indeksi määritellään seuraavasti: tutkijan h-indeksin arvo on h, jos h kappaletta hänen julkaisuistaan ovat jokainen saaneet vähintään h viittausta ja loput julkaisut ovat saaneet korkeintaan h viittausta.
Tähän voisi laittaa klassisen kuvaajan joka löytyy esim. englanninkielisestä wikipediasta (Kuva ilmeisesti vapaasti käytettävissä, teksti kuvan tiedoissa: "Permission details: Own work released as Public domain")
Esimerkki.
h-indeksin arvo 10 tarkoittaa, että tutkijalla on 10 julkaisua, joihin kaikkiin on viitattu vähintään 10 kertaa. Hänen mahdollisiin muihin julkaisuihinsa on viitattu korkeintaan kymmenen kertaa tai ei lainkaan.
Esimerkki.
Tutkijoiden h-indeksin arvo voi olla sama vaikka tutkijoiden julkaisuprofiilit (julkaisuidensa määrä ja niiden saamien viittausten määrä) poikkeaisivat toisistaan paljon.
- Tutkija 1 on julkaissut viisi artikkelia joihin on viitattu seuraavasti: 9,9,7,6,5
- Tutkija 2 on julkaissut 11 artikkelia, joihin on viitattu seuraavasti: 200, 150, 99, 70, 5, 4,4,3,2,1,1
- Kummankin tutkijan h-indeksin arvo on 5 <COMMENT> Tämä on hyvä, paljastava esimerkki. Vielä dramaattisemman siitä tietysti saa, jos pudottaa tuon jälkimmäisen tutkijan viidennen julkaisun viittausmäärän 4:ään. <END COMMENT>
h-indeksin edut, ongelmat ja vastuullinen käyttö
h-indeksin ongelmia
h-indeksi on:
- Riippuvainen julkaisujen määrästä. h-indeksi ei voi olla suurempi kuin julkaisujen lukumäärä. Esim. Jos tutkija on julkaissut 10 julkaisua, h-indeksin maksimiarvo on 10 vaikka kaikkiin kyseisen tutkijan julkaisuihin olisi viitattu satoja kertoja.
- Kumuloituva mittari. h-indeksi ei voi pienentyä. Se voidaan määritellä myös lyhyemmälle tarkastelujaksolle (esim 5 vuotta) kuin koko uralle.
- Riippuvainen käytetystä tietokannasta. Eri tieteenalojen julkaisujen kattavuus eri viittaustietokannoissa voi vaihdella paljon. <COMMENT> Sama pätee kyllä kaikkiin bibliometrisiin indikaattoreihin. <END COMMENT>
h-indeksi ei huomioi:
- tieteenalojen erilaisia julkaisu- ja viittauskäytäntöjä. Eri tieteenalojen tutkijoiden h-indeksejä ei voi verrata toisiinsa.
- julkaisujen tekijöiden lukumäärää. Se suosii aloja, joissa on suuret tutkimusryhmät ja tutkijoilla siten paljon julkaisuja.
- kirjoittajien roolia julkaisussa. Keskeinen rooli kirjoitustyössä ja muut roolit vaikuttavat yhtä paljon.
- tutkijan uran pituutta. Pidempään julkaisseella tutkijalla on aloittelevaa tutkijaa suurempi todennäköisyys saada korkea h-indeksi, koska hänellä on ollut enemmän aikaa julkaista ja julkaisuilla on ollut enemmän aikaa saada viittauksia.
Esimerkki. Tässä voisi olla linkki esimerkkiin https://www.leidenmadtrics.nl/articles/halt-the-h-index - milloin tekijä on julkaissut tai onko hän lopettanut julkaisemisen. Lopettamisen jälkeen h-indeksi voi jatkaa kasvuaan viittausten kertymisen myöta.
- tutkijan merkittäviä yksittäisiä julkaisuja. h-indeksin muunnelmat
h-indeksin vastuullinen käyttö
<COMMENT> Tässä on juuri sen tyyppistä pohdintaa, mitä kaipailin aiemmin esiteltyjen indikaattorien kohdalla. <END COMMENT>
h-indeksin toteutuksia tietokannoissa
| Tietokanta | Menetelmän kuvaus | Huomioitavaa |
|---|---|---|
| Web of Science | ||
| Scopus | A scientist has an index h if h of his/her Np papers has at least h citations each, and the other (Np h) papers have no more than h citations each. https://blog.scopus.com//posts/the-scopus-h-index-what-s-it-all-about-part-i | |
| Google Scholar | The h-index of a publication is the largest number h such that at least h articles in that publication were cited at least h times each. For example, a publication with five articles cited by, respectively, 17, 9, 6, 3, and 2, has the h-index of 3. https://scholar.google.com/intl/en/scholar/metrics.html#metrics | Google Scholar sisältää myös seuraavat muunnelmat: h5-, h5-core ja 5-median |