Vaikuttavuusindikaattoreita

Normalisoidut indikaattorit

Tieteenalanormalisoiduilla indikaattoreilla tarkoitetaan indikaattoreita, joiden laskennassa on pyritty huomioimaan tieteenala ja sen ominaiset piirteet. Tieteenalan määrittelyn menetelmät vaihtelevat, eikä ole olemassa yhtä standardisoitua tapaa. Esim. lehtiperustainen määrittely, tekoäy Tieteenalanormalisoiduilla indikaattoreilla pyritään mahdollistamaan eri alojen vertailu keskenään. Tieteenalanormalisoituja indikaattoreita ovat esimerkiksi Top% indikaattorit ja xxx indikaattorit

Top% indikaattorit 

Top x% indikaattori ilmaisee, kuinka suuri suhteellinen osuus julkaisujoukosta kuuluu saman tieteenalan, julkaisuvuoden ja -tyypin viitatuimpaan x prosenttiin. 
Top 1% -indikaattorin ykkösen ylittävä arvo tarkoittaa, että enemmän kuin 1% julkaisuista kuuluu oman tieteenalansa viitatuimman 1% joukkoon. Top 10% -indikaattorin yli kymmenen arvo tarkoittaa, että yli 10% julkaisuista sisältyy alansa viitatuimpaan 10%. 
 
Top 1% ja Top 10% indikaattorien yhtäaikainen käyttö kertoo sekä korkeaan (10%) että huippuvaikuttavuuteen (1%) yltävien julkaisujen suhteellisesta määrästä julkaisujoukossa, kun setin julkaisumäärä on riittävä indikaattorien luotettavaan käyttämiseen. Vaikuttavuutta valaisee myös muiden indikaattorien samanaikainen käyttäminen, esimerkiksi tieteenalanormalisoidut indikaattorit sopivat Top x% indikaattorin rinnalle.  

Huomioitavaa 

Top x% indikaattoreiden implementointi kaupallisissa tuotteissa
Kommentti: indikaattorit (esim Top10) eroavat siinä miten ne tieteellisessä kirjallisuudessa esitetään ja miten kaupalliset toimijat ovat ne implementoineet. Pitänee tuoda jotenkin esiin se, että valmisohjelmien Top-indikaattorit eivät aina toimi niin kuin teoriassa pitäisi

Julkaisujoukon koko ja ikä 
Top 1% indikaattori toimii tarkoituksenmukaisimmin suurissa julkaisujoukoissa (esim. maa, yliopisto). Myös usean vuoden aikaikkunan käyttäminen lisää indikaattorin antaman kuvan luotettavuutta. Julkaisumäärän olisi hyvä olla yli 500. Kun julkaisusetin koko on 500, yhden viitatuimpaan 1% kuuluvan julkaisun lisääminen tai poistaminen muuttaa indikaattoriarvoa 0,2 prosenttiyksikköä. Setin koon ollessa 200, yhden julkaisun merkitys kasvaa, ja vastaava muutos aiheuttaa 0,5 prosenttiyksikön muutoksen indikaattoriarvossa. 

Top 10% indikaattori sopii myös määrältään pienempien julkaisusettien viittausimpaktin määrittämiseen, mutta tällöin sitä on käytettävä varoen. Pienestä julkaisumäärästä laskettu indikaattoriarvo voi vaihdella suurestikin eri ajankohtina. Esimerkiksi Suomen Akatemian Tieteen tila -raportissa Top 10% indikaattoria ei ilmoiteta, jos julkaisumäärä on alle 50. 

Julkaisujoukon koon lisäksi myös julkaisujen uutuus saattaa aiheuttaa harhaanjohtavia indikaattoriarvoja. 
Julkaisujen viittausmäärän kasvu riippuu alan julkaisukulttuurista, mutta yleensä se on huomioitavassa kasvuvaiheessa ainakin kaksi vuotta julkaisuajankohdan jälkeen. 

Tietokantojen kattavuus humanistisilla ja yhteiskuntatieteellisillä aloilla 
Erityisesti humanististen alojen ja monien yhteiskuntatieteiden julkaisut ovat puutteellisesti edustettuna viittaustietokannoissa, joten indikaattorit eivät anna todellista kuvaa näiden alojen julkaisutoiminnasta ja viittausverkostosta. 

Normalisoitu viittausindeksi

h-indeksi 

h-indeksi, jota kutsutaan myös Hirsch-indeksiksi, on yksi tunnetuimmista bibliometrisista indikaattoreista. Sen kehitti Jorge E. Hirsch vuonna 2005 [https://doi.org/10.1073/pnas.0507655102].  

h-indeksi määritellään seuraavasti: tutkijan h-indeksin arvo on h, jos h kappaletta hänen julkaisuistaan ovat jokainen saaneet vähintään h viittausta ja loput julkaisut ovat saaneet korkeintaan h viittausta.

Tähän voisi laittaa klassisen kuvaajan joka löytyy esim. englanninkielisestä wikipediasta (Kuva ilmeisesti vapaasti käytettävissä, teksti  kuvan tiedoissa: "Permission details: Own work released as Public domain")

Esimerkki.
h-indeksin arvo 10 tarkoittaa, että tutkijalla on 10 julkaisua, joihin kaikkiin on viitattu vähintään 10 kertaa. Hänen  mahdollisiin muihin julkaisuihinsa on viitattu korkeintaan kymmenen kertaa tai ei lainkaan. 

Tutkijoiden h-indeksin arvo voi olla sama vaikka tutkijoiden julkaisuprofiilit (julkaisuidensa määrä ja niiden saamien viittausten määrä) poikkeaisivat toisistaan paljon.  

Esimerkki. 
Tutkija 1 on julkaissut viisi artikkelia joihin on viitattu seuraavasti: 9,9,7,6,5 
Tutkija 2 on julkaissut 11 artikkelia, joihin on viitattu seuraavasti: 200, 150, 99, 70, 5, 4,4,3,2,1,1 
Kummankin tutkijan h-indeksin arvo on 5 

huomioitavaa 

h-indeksi on: 

• Riippuvainen julkaisujen määrästä. h-indeksi ei voi olla suurempi kuin julkaisujen lukumäärä. Esim. Jos tutkija on julkaissut 10 julkaisua, h-indeksin maksimiarvo on 10 vaikka kaikkiin kyseisen tutkijan julkaisuihin olisi viitattu satoja kertoja.  
• Kumuloituva mittari. h-indeksi ei voi pienentyä. Se voidaan määritellä myös lyhyemmälle tarkastelujaksolle (esim 5 vuotta) kuin koko uralle. 
• Riippuvainen käytetystä tietokannasta. Eri tieteenalojen julkaisujen kattavuus eri viittaustietokannoissa voi vaihdella paljon. 

h-indeksi ei huomioi: 

• tieteenalojen erilaisia julkaisu- ja viittauskäytäntöjä. Eri tieteenalojen tutkijoiden h-indeksejä ei voi verrata toisiinsa. 
• julkaisujen tekijöiden lukumäärää. Se suosii aloja, joissa on suuret tutkimusryhmät ja tutkijoilla siten paljon julkaisuja. 
• kirjoittajien roolia julkaisussa. Keskeinen rooli kirjoitustyössä ja muut roolit vaikuttavat yhtä paljon. 
• tutkijan uran pituutta. Pidempään julkaisseella tutkijalla on aloittelevaa tutkijaa suurempi todennäköisyys saada korkea h-indeksi, koska hänellä on ollut enemmän aikaa julkaista ja julkaisuilla on ollut enemmän aikaa saada viittauksia.
  Esimerkki. Tässä  voisi olla linkki esimerkkiin https://www.leidenmadtrics.nl/articles/halt-the-h-index
• milloin tekijä on julkaissut tai onko hän lopettanut julkaisemisen. Lopettamisen jälkeen h-indeksi voi jatkaa kasvuaan viittausten kertymisen myöta.
• tutkijan merkittäviä yksittäisiä julkaisuja.