Sisältösuunnitelma
- Normalisoidut indikaattorit
- Top%- indikaattorit
- Tieteenalanormalisoidut viittausindikaattorit
- Hirsch-indeksi (h-indeksi)
- Yrjö Leinon Lyhyesti vaikuttavuusindikaattoreista -sisältö
Tarkistettava ainakin seuraavien termien käytön johdonmukaisuus indikaattori, indeksi, tieteenala,
Vaikuttavuusindikaatorit perustuvat julkaisujen saamiin viittausmääriin. Julkaisuun tehtyjen viittausten määrä kertoo siitä, kuinka paljon sitä on hyödynnetty ilmestymisensä jälkeen tehdyssä tutkimuksessa. Viittausten voidaan ajatella kertovan jotain julkaisussa esitetyn tutkimuksen relevanttiudesta, sen ajankohtaisuudesta ja hyödyllisyydestä tiedeyhteisölle, ja siten sen tieteellisestä vaikuttavuudesta. Lue lisää viittauksista.
Normalisoidut indikaattorit
Normalisoiduilla indikaattoreilla tarkoitetaan indikaattoreita, joiden laskennassa on pyritty huomioimaan julkaisun tieteenala, ikä ja julkaisutyyppi. Normalisoinnissa keskeistä on julkaisun tieteenalan määrittely. Julkaisuja luokitellaan tietokannoissa erilaisiin tieteenalaluokituksiin erilaisin perustein ja menetelmin. Monissa kansainvälisissä tietokannoissa käytetään julkaisusarjojen tieteenalaluokitukseen perustuvaa artikkelien luokitusta. Lue lisää tieteenalaluokituksista luvusta Tieteenalojen välisiä eroja.
Tieteenalanormalisoiduilla indikaattoreilla pyritään mahdollistamaan eri alojen julkaisujen vertailu. Tieteenalanormalisoituja indikaattoreita ovat esimerkiksi Top% -indikaattorit ja tieteenalanormalisoidut viittausindikaattorit .
Top x% -indikaattorit
Top x% -indikaattorit ilmaisevat, kuinka suuri suhteellinen osuus tarkasteltavasta julkaisujoukosta kuuluu saman tieteenalan, julkaisuvuoden ja -tyypin viitatuimpaan x prosenttiin. Top x%-indikaattorit perustuvat viittausjakaumiin. Top x% -indikaattorit kuvaavat kuinka paljon tarkastaeltavan julkaisujoukon julkaisuista on eniten viittauksia saaneiden julkaisujen joukossa.
Top x% -indeksit
Top 1% ja Top 10% -indeksien yhtäaikainen käyttö kertoo sekä korkeaan (10%) että huippuvaikuttavuuteen (1%) yltävien julkaisujen suhteellisesta määrästä julkaisujoukossa, kun setin julkaisumäärä on riittävä indikaattorien luotettavaan käyttämiseen (ks. vastuullinen käyttö). Esimerkiksi Top 1% -indeksin ykkösen ylittävä arvo tarkoittaa, että tarkasteltavan joukon julkaisuista enemmän kuin 1% kuuluu oman tieteenalansa viitatuimman 1% joukkoon.
Esim. kuinka Top 10% -indeksi lasketaan
- Lasketaan tieteenalan viittausjakauma: Tieteenalalla y on ilmestynyt 250000 julkaisua vuosina 2014-2018. Viittausjakaumassa Top 10%:iin kuuluu siis 25000 julkaisua.
- Tarkasteltava julkaisujoukko: Samalla tieteenalalla toimii tiedekunta x. Tiedekunnan tutkijat ovat julkaisseet vuosina 2014-2018 500 julkaisua. Julkaisusta 100 kuuluu edellämainitun viittausjakauman top 10%:iin. Tilastollisesti odotusarvo tiedekunnan top 10%:ssä olevien julkaisuiden määrälle on 50.
- Top 10% indeksin laskeminen: Top 10% indeksi lasketaan jakamalla laitoksen top 10% kuuluvien julkaisuiden lukumäärä odotusarvolla eli 100/50=2
- esimerkki on yksinkertainen, todellisuudessa julkaisut kuuluvat eri tieteenaloille ja tarkasteltavia julkaisuja verrataaan moneen viittausjakaumaan.
- Vaikuttavuutta valaisee myös muiden indikaattorien samanaikainen käyttäminen, esimerkiksi tieteenalanormalisoidut indikaattorit sopivat Top x% indikaattorin rinnalle.
- Julkaisujoukon koko ja ikä
Top 1% indikaattorit toimivat tarkoituksenmukaisimmin suurissa julkaisujoukoissa (esim. maa, yliopisto). Myös usean vuoden aikaikkunan käyttäminen lisää indikaattorin antaman kuvan luotettavuutta. Julkaisumäärän olisi hyvä olla yli 500. Kun julkaisusetin koko on 500, yhden viitatuimpaan 1% kuuluvan julkaisun lisääminen tai poistaminen muuttaa indikaattoriarvoa 0,2 prosenttiyksikköä. Setin koon ollessa 200, yhden julkaisun merkitys kasvaa, ja vastaava muutos aiheuttaa 0,5 prosenttiyksikön muutoksen indikaattoriarvossa. Top 10% indikaattorit sopivat myös määrältään pienempien julkaisusettien viittausimpaktin (vai viittausvaikutuksen) määrittämiseen, mutta tällöin sitä on käytettävä varoen. Pienestä julkaisumäärästä laskettu indikaattoriarvo voi vaihdella suurestikin eri ajankohtina. Esimerkiksi Suomen Akatemian Tieteen tila -raportissa Top 10% indikaattoria ei ilmoiteta, jos julkaisumäärä on alle 50. Julkaisujoukon koon lisäksi myös julkaisujen uutuus saattaa aiheuttaa harhaanjohtavia indikaattoriarvoja.
Julkaisujen viittausmäärän kasvu riippuu alan julkaisukulttuurista, mutta yleensä se on huomioitavassa kasvuvaiheessa ainakin kaksi vuotta julkaisuajankohdan jälkeen. - Tietokantojen kattavuus humanistisilla ja yhteiskuntatieteellisillä aloilla
Erityisesti humanististen alojen ja monien yhteiskuntatieteiden julkaisut ovat puutteellisesti edustettuna viittaustietokannoissa, joten indikaattorit eivät anna todellista kuvaa näiden alojen julkaisutoiminnasta ja viittausverkostosta.
Top x% -osuudet
Topx% -osuus ilmaisee, kuinka suuri %-osuus tarkasteltavasta julkaisujoukosta kuuluu saman tieteenalan, julkaisuvuoden ja -tyypin viitatuimpaan x prosenttiin. Esimerkiksi mikäli julkaisujen Top1% -osuus on enemmän kuin 1% tarkoittaa se, että tarkasteltavan joukon julkaisuista enemmän kuin 1% kuuluu oman tieteenalansa viitatuimman 1% joukkoon.
Esim.kuinka Top 10% -osuus lasketaan
- Lasketaan tieteenalan viittausjakauma: Tieteenalalla y on ilmestynyt 250000 julkaisua vuosina 2014-2018. Viittausjakaumassa Top 10%:iin kuuluu siis 25000 julkaisua.
- Tarkasteltava julkaisujoukko: Samalla tieteenalalla toimii tiedekunta x. Tiedekunnan tutkijat ovat julkaisseet vuosina 2014-2018 500 julkaisua. Julkaisuista 100 kuuluu edellämainitun viittausjakauman top 10%:iin.
- Top 10% osuuden laskeminen: lasketaan tiedekunnan top 10% kuuluvien julkaisuiden prosenttiosuus kaikista tiedekunnan julkaisuista: 100/500 *100%=20%
- esimerkki on yksinkertainen, todellisuudessa julkaisut kuuluvat eri tieteenaloille ja tarkasteltavia julkaisuja verrataaan moneen viittausjakaumaan.
Top x% -julkaisut
Essential Science Indicator - tietokannan Highly Cited Papers- ja Hot Papers-merkinnät ovat yksi versio Top x%-indikaattoreista eli ne perustuvat viittausjakaumiin. Highly Cited Papers- ja Hot papers- statuksen saavat julkaisut jotka ylittävät tietokannassa määritellyt viittausten raja-arvot.
Highly Cited papers merkinnän saavat julkaisut, jotka ovat korkeintaan 10 vuotta vanhoja ja jotka ylittävät Top 1% raja-arvon samalla alalla samana vuonna ilmestyneiden julkaisujen viittausjakaumassa.
Hot Papers merkinnän saavat julkaisut, jotka ovat korkeintaan kaksi vuotta vanhoja ja jotka ylittävät top 0,1% raja-arvon samalla alalla samana päivityskertana tietokantaan lisättyjen julkaisujen viittausjakaumassa. Päivitykset tehdään kahden kuukauden välein. Viittauksia laskettaessa otetaan huomioon ainoastaan viimeisimmässä päivityksessä lisättyjen julkaisujen tekemät viittaukset.
Tieteenalanormalisoidut viittausindikaattorit
Määritelmä
Julkaisun todellisen ja odotetun viittausmäärän välinen suhde. Julkaisun odotetulla viittausmäärällä tarkoitetaan kaikkien samalla tutkimusalalla, samana vuonna ilmestyneiden julkaisujen viittausten keskiarvoa.
Normalisoidut viittausindikaattorit kuvaavat sitä, kuinka paljon enemmän tai vähemmän viittauksia julkaisut ovat keränneet suhteessa tieteenalansa keskitasoon maailmassa. Suora lainaus tieteen tila-julkaisusta, voiko käyttää? Indikaattorit kuvaavat julkaisun tai julkaisujoukon saaman viittausmäärän suhdetta samalla tutkimusalalla samana vuonna ilmestyneiden julkaisujen viittausten keskiarvoon. Keskimääräistä viittausvaikutusta vastaava arvo on 1. Sen alittavat arvot kertovat keskimääräistä pienemmästä viittausmäärästä ja sen ylittävät keskimääräistä suuremmasta viittausmäärästä. Kun yksikkö saa esimerkiksi arvon 1,78. merkitsee se 78 prosenttia maailman keskiarvoa suurempaa viittausvaikutusta.
Kuinka lasketaan
Muodostetaan julkaisujoukko, ja lasketaan julkaisujen saamien viittausten keskiarvo. (ks julkaisujoukon muodostaminen)
Jaetaan tarkasteltavan julkaisun tai julkaisujoukon saamaa viittausmäärä viittausten keskiarvolla.
Esimerkki 1. Katsausartikkeli on saanut 15 viittausta. Saman aihepiirin lehdissä, samana vuonna ilmestyneet katsausartikkelit ovat saaneet keskimäärin 12 viittausta. Katsausartikkelin normalisoitu viittausindeksi lasketaan: 15/12= 1,25.
Esimerkki 2. Kun lasketaan normalisoitua viittausindeksiä julkaisujoukolle yksittäisten julkaisujen viittausindeksit täytyy yhdistää. Kaupallisissa toteutuksissa käytetään useinmiten seuraavaa menetelmää
Lasketaan MNCS kolmen julkaisun joukolle.
Julkaisu | artikkelin saamat viittaukset | samanlaisten artikkelien viittausten keskiarvo | julkaisun viittausindeksi |
---|---|---|---|
1. | 15 | 12 | 15/12= 1, 25 |
2. | 100 | 85 | 100/85=1,17 |
3. | 60 | 30 | 60/30=2 |
Joukon MNCS on 1/3 * (1,25+1,17+2) = (1,25+1,17+2)/3 = 1,57 = 1,6
Normalisoitujen indikaattoreiden toteutuksia tietokannoissa ja muissa lähteissä
Topx% indeksit | Tietokanta(lähde) | Menetelmän kuvaus | Vastuullinen käyttö | |
---|---|---|---|---|
PP(topx%) | Leiden ranking | https://www.leidenranking.com/information/indicators#size-independent Käytetty tieteenalaluokitus | ||
top 10-indeksi | Tieteen tila | |||
Topx% osuudet | ||||
InCites | Terhi linkkaa dokumentaatioon | |||
Outputs in Top Citation Percentiles | SciVal | Julkaisujen määrä Top viitattujen prosenttipisteessä (persentiilissä?) kertoo kuinka paljon julkaisujoukon julkaisuista kuuluu eniten viitattujen julkaisujen joukkoon. SciVal:n valikoimasta löytyy Top 1%, 5%, 10% ja 25% eniten viitattujen osuuksista. Mikäli useampi julkaisu osuu raja-arvolle, lasketaan ne mukaan Top viitattujen osuuteen, jolloin todellinen osuus on suurempi kuin indikaattorin ilmoittama. Muista tietokannoista poiketen SciValin laskennassa yhdistetään eri tieteenalojen (subject? onko parempaa sanaa) top viitattujen osuuksia, jolloin lopputulos voi olla erilainen. Ero korostuu etenkin pienten julkaisujoukkojen tapauksissa. Tähän linkki Scivalin kirjaan Kerro miten eroaa muista top% indikaattoreista Lähde: https://service.elsevier.com/app/answers/detail/a_id/28193/supporthub/scival/p/10961/ | Taulukko. Yrjö Leino & Marianne Gauffriaun. Guest Post: Understanding SciVal’s calculation of field-weighted percentile indicators – The Bibliomagician (wordpress.com) | |
Top julkaisut | ||||
Highly cited papers | Essential Science Indicators, Web of Science-tietokannan data. | https://webofscience.help.clarivate.com/en-us/Content/esi-highly-cited-papers.html | ||
Hot papers | Essential Science Indicators | Eri alojen viittauskäytännöt- onko joillain aloilla edes mahdollista saada ainuttakaan viittausta kahden vuoden aikana | ||
Normalisoidut viittausindikaattorit | Tietokanta | Menetelmän kuvaus | Kuinka tieteenalat on määritelty | Huomioitavaa |
CNCI Category Normalized Citation Impact | InCites | https://clarivate.libguides.com/incites_ba/understanding-indicators | ||
FWCI Field-Weighted Citation Impact | SciVal | https://www.elsevier.com/research-intelligence/resource-library/research-metrics-guidebook | ||
MNCS Mean Normalized Citation Score | ||||
The Field Citation Ratio (FCR) | Dimensions | ndicates the relative citation performance of a publication when compared to similarly-aged articles in its subject area. A value of more than 1.0-1.5 indicates higher than average citation, when defined by FoR subject code, and publication year. The FCR is calculated for all publications in Dimensions which are at least 2 years old and were published in 2000 or later. | i |
h-indeksi
Määritelmä
h-indeksi, jota kutsutaan myös Hirsch-indeksiksi, on yksi tunnetuimmista bibliometrisista indikaattoreista. Sen kehitti Jorge E. Hirsch vuonna 2005 [https://doi.org/10.1073/pnas.0507655102].
h-indeksi määritellään seuraavasti: tutkijan h-indeksin arvo on h, jos h kappaletta hänen julkaisuistaan ovat jokainen saaneet vähintään h viittausta ja loput julkaisut ovat saaneet korkeintaan h viittausta.
Tähän voisi laittaa klassisen kuvaajan joka löytyy esim. englanninkielisestä wikipediasta (Kuva ilmeisesti vapaasti käytettävissä, teksti kuvan tiedoissa: "Permission details: Own work released as Public domain")
Esimerkki.
h-indeksin arvo 10 tarkoittaa, että tutkijalla on 10 julkaisua, joihin kaikkiin on viitattu vähintään 10 kertaa. Hänen mahdollisiin muihin julkaisuihinsa on viitattu korkeintaan kymmenen kertaa tai ei lainkaan.
Tutkijoiden h-indeksin arvo voi olla sama vaikka tutkijoiden julkaisuprofiilit (julkaisuidensa määrä ja niiden saamien viittausten määrä) poikkeaisivat toisistaan paljon.
Esimerkki.
Tutkija 1 on julkaissut viisi artikkelia joihin on viitattu seuraavasti: 9,9,7,6,5
Tutkija 2 on julkaissut 11 artikkelia, joihin on viitattu seuraavasti: 200, 150, 99, 70, 5, 4,4,3,2,1,1
Kummankin tutkijan h-indeksin arvo on 5
Vastuullinen käyttö
h-indeksi on:
- Riippuvainen julkaisujen määrästä. h-indeksi ei voi olla suurempi kuin julkaisujen lukumäärä. Esim. Jos tutkija on julkaissut 10 julkaisua, h-indeksin maksimiarvo on 10 vaikka kaikkiin kyseisen tutkijan julkaisuihin olisi viitattu satoja kertoja.
- Kumuloituva mittari. h-indeksi ei voi pienentyä. Se voidaan määritellä myös lyhyemmälle tarkastelujaksolle (esim 5 vuotta) kuin koko uralle.
- Riippuvainen käytetystä tietokannasta. Eri tieteenalojen julkaisujen kattavuus eri viittaustietokannoissa voi vaihdella paljon.
h-indeksi ei huomioi:
- tieteenalojen erilaisia julkaisu- ja viittauskäytäntöjä. Eri tieteenalojen tutkijoiden h-indeksejä ei voi verrata toisiinsa.
- julkaisujen tekijöiden lukumäärää. Se suosii aloja, joissa on suuret tutkimusryhmät ja tutkijoilla siten paljon julkaisuja.
- kirjoittajien roolia julkaisussa. Keskeinen rooli kirjoitustyössä ja muut roolit vaikuttavat yhtä paljon.
- tutkijan uran pituutta. Pidempään julkaisseella tutkijalla on aloittelevaa tutkijaa suurempi todennäköisyys saada korkea h-indeksi, koska hänellä on ollut enemmän aikaa julkaista ja julkaisuilla on ollut enemmän aikaa saada viittauksia.
Esimerkki. Tässä voisi olla linkki esimerkkiin https://www.leidenmadtrics.nl/articles/halt-the-h-index - milloin tekijä on julkaissut tai onko hän lopettanut julkaisemisen. Lopettamisen jälkeen h-indeksi voi jatkaa kasvuaan viittausten kertymisen myöta.
- tutkijan merkittäviä yksittäisiä julkaisuja.
h-indeksin muunnelmat
Indikaattorin toteutukset tietokannoissa
Tietokanta | Menetelmän kuvaus | Huomioitavaa |
---|---|---|
Web of Science | ||
Scopus | A scientist has an index h if h of his/her Np papers has at least h citations each, and the other (Np h) papers have no more than h citations each. https://blog.scopus.com//posts/the-scopus-h-index-what-s-it-all-about-part-i | |
Google Scholar | The h-index of a publication is the largest number h such that at least h articles in that publication were cited at least h times each. For example, a publication with five articles cited by, respectively, 17, 9, 6, 3, and 2, has the h-index of 3. https://scholar.google.com/intl/en/scholar/metrics.html#metrics | Google Scholar sisältää myös seuraavat muunnelmat: h5-, h5-core ja 5-median |