Viittausten aikaikkuna
Käsitteellä "Viittausten aikaikkuna" (usein lyhyemmin myös pelkkä "viittausikkuna") tarkoitamme aikaa, jonka kuluessa tehdyt viittaukset otetaan analyysissä huomioon. Poikkeustapauksia lukuunottamatta aikaikkunalle ei yleensä aseteta alarajaa, ts. julkaisuun jopa ennen nimellistä ilmestymispäivää tehdyt viittaukset otetaan huomioon. Ylärajan suhteen pitää sen sijaan asettaa jokin minimivaatimus. Tieteellinen julkaiseminen vertaisarviointeineen on aikaa vievä prosessi, joten viittauksien kertyminen artikkeleille tapahtuu hitaasti. Tämän vuoksi viittausmääriin perustavia vaikuttavuusarvioita on hyödytöntä tehdä kovin tuoreille julkaisuille. Lisäksi viittausten kertymisnopeus vaihtelee huomattavasti tieteenalojen välillä. Viittausikkunan valintaan vaikuttaa myös käyttötarkoitus: rahoituspäätöksiä tai rekrytointeja varten ei ole mahdollista odottaa useita vuosia, jotta selviäisi julkaisun lopullinen vaikuttavuus, vaan päätökset pitää tehdä kulloinkin saatavilla olevan parhaan informaation mukaan. Lopuksi on huomattava, että viittausikkunan riittävä pituus riippuu myös käytettävästä vaikuttavuusindikaattorista.
Tavanomaisesti lyhin käytetty aikaikkuna on kolme vuotta. Julkaisujen ilmestymisvuoden jälkeen odotetaan siis vielä kaksi vuotta ennen kuin vaikuttavuusarviointeja tehdään. Kolmen vuoden ikkuna riittää alustavaan arviointiin aloilla, joilla viittaukset kertyvät nopeasti. Aloilla, joissa julkaisuprosessi on hiottu sujuvaksi ja viittauksia kertyy erittäin ripeästi (esimerkiksi jotkin bio- ja lääketieteen osa-alueet) voi harkita lyhyemmänkin viittausikkunan soveltamista, jos käytössä on taajasti päivitetty viittausdata. Sen sijaan hitaamman julkaisusyklin aloilla (monet humanistiset alat, matematiikka) kolmekin vuotta on selvästi liian lyhyt aika, varsinkin jos tarkoitus on käyttää Top x% -tyyppisiä indikaattoreita. Näillä aloilla esiintyy tilanteita, joissa vielä kaksi vuotta ilmestymisen jälkeen viitatuimpaan kymmenykseen pääsee yhdellä viittauksella, minkä ei voitane tulkita osoittavan erityistä tieteellistä vaikuttavuutta.
Mitä vanhempia julkaisuja tarkastellaan, sitä pidempään ne ovat ehtineet kerätä viittauksia. Suurin informaation määrä ja tarkin analyysi saadaan luonnollisesti käyttämällä ylärajaltaan avointa viittausikkunaa. Tällöin kaikki viittaukset, tulkootpa ne vaikka vuosikymmeniä julkaisun ilmestymisen jälkeen, vaikuttavat lopputulokseen. Bibliometrisissa vaikuttavuusanalyyseissä tulisi ensisijaisesti käyttää avointa viittausikkunaa. Viittausten rajaaminen esimerkiksi vain kolmeen ilmestymisen jälkeiseen vuoteen julkaisujen iästä riippumatta vääristää tuloksia sitä voimakkaammin, mitä vanhemmista julkaisuista on kyse. Julkaisut, jotka keräävät ilmestyessään nopeasti viittauksia (ns. hot papers), eivät välttämättä ole enää muutaman vuoden päästä omassa vertailuryhmässään viitatuimpien joukossa. Lyhyt viittausten aikaikkuna mittaa siis erilaista tieteellistä vaikuttavuutta kuin avoin ikkuna. Lyhyt viittausikkuna korostaa ilmestymishetkenään ajankohtaiseen tieteelliseen keskusteluun osallistuneita julkaisuja, kun taas pysyvämmän jäljen jättävät julkaisut pääsevät usein esiin vasta pidemmän ajan kuluessa.
Katkaistu viittausikkuna ei myöskään kohtele eri maista tulevia julkaisuja identtisesti: lyhyt ikkuna suosii joitakin maita (Saksa, Iso-Britannia, Yhdysvallat) ja saa toisten maiden (esimerkiksi Suomi, Ruotsi, Norja) tulokset näyttämään todellista huonommilta. Tämän vuoksi maiden tieteellisen vaikuttavuuden ajallista kehitystä kartoittavissa tutkimuksissa katkaistu viittausikkuna on erityisen haitallinen.
Keinotekoisesti katkaistua viittausikkunaa ei voi perustella sillä, että rajoittamaton aika suosisi vanhempia julkaisuja. Eri ikäisten julkaisujen viittausmääriä ei vastuullisesti tehdyssä analyysissä koskaan verrata suoraan keskenään. Katkaistua viittausikkunaa voi käyttää, jos analyysin tarkoituksena on nimenomaisesti identifioida ilmestymisaikanaan tärkeinä pidettyjä julkaisuja.
Osittaminen
Tieteelliset julkaisut ovat harvoin yhden tutkijan kirjoittamia. Mukana voi olla tutkijoita useasta organisaatiosta tai useasta maasta. Kun arvioidaan jonkin tutkimusta tekevän tahon (maa, yliopisto) tieteellisen julkaisutoiminnan laajuutta, voidaan tulos esittää joko osittamattomina (engl. full count tai whole count) tai ositettuina (fractionalized) julkaisumäärinä. Osittamaton julkaisumäärä vastaa kysymykseen "Kuinka monessa julkaisussa organisaatio/ryhmä/tutkija on ollut osallisena?", ositettu julkaisumäärä puolestaan kuvaa vastaavasti organisaation/ryhmän/tekijän osuutta käytettävän aineiston kaikista julkaisuista. Ositus on luonnollisinta tehdä samaa tasoa edustavien yksiköiden kesken: kun vertaillaan maita, julkaisut ositetaan maiden kesken; kun vertaillaan organisaatioita, ositetaan organisaatioiden kesken. Ositetut julkaisumäärät ovat vertailtavissa esimerkiksi alakohtaisesti koko aineiston julkaisumääriin, tai organisaatioiden tapauksessa isäntämaan ositettuun julkaisumäärään. Osittamattomat julkaisumäärät eivät ole samalla tavoin vertailukelpoisia, koska yhteisjulkaisut tulevat lasketuksi useampaan kertaan. Osittamattomien julkaisumäärien osalta pitääkin aina erikseen harkita huolellisesti, ovatko tulokset ylipäänsä summautuvia. Osittamattomia julkaisumääriä voi laskea yhteen, jos kukin julkaisu kuuluu enintään yhteen summattavaan osajoukkoon (esimerkiksi eri vuosina ilmestyneet julkaisut). Sen sijaan vaikkapa yliopiston julkaisujen lukumäärää ei voi laskea summaamalla yliopiston osittamattomat julkaisumäärät kaikilta tieteenaloilta, jos yksi julkaisu voi olla luokiteltu useammalle alalle.
Kun sen sijaan arvioidaan julkaisutoiminnan vaikuttavuutta, julkaisut ja julkaisukohtaiset vaikuttavuusarvot on aina ositettava eli painotettava kertoimilla, joiden summa jokaisen julkaisun osalta on 1.0. Ellei ole erityisen painavia perusteita toimia toisin, ositus on syytä suorittaa tasan kaikkien julkaisun tekemiseen osallistuneiden tahojen kanssa. Tutkijoilla tai tutkimusryhmillä voi olla eri hankkeissa erilaisia rooleja (kokeellinen työ, kenttätyö, teoreettinen työ), eikä näiden keskinäiseen arvottamiseen ole olemassa objektiivisia mittareita. Näennäisen yksinkertaiset vaihtoehdot, kuten esimerkiksi tekijöiden affiliaatioiden laskeminen, ovat yleensä keinotekoisia ja helposti manipuloitavia. Jos vaikuttavuuslaskelmat tehdään ilman ositusta, lopputuloksista puuttuu mittakaava (tulokset eivät enää kerro miten tarkasteltujen tekijätahojen vaikuttavuus suhtautuu koko aineiston keskiarvoon), ja laskelmat suosivat voimakkaasti niitä maita, organisaatioita ja tieteenaloja, jotka esiintyvät useimmin yhteisjulkaisuissa.
Normalisointi
Normalisoinnilla tarkoitetaan julkaisumetriikassa julkaisukohtaisten vaikuttavuusarvojen laskemista sellaisin menetelmin, että niin koko aineiston kuin jokaisen vuoden ja tieteenalankin osalta erikseen tulosten keskiarvo asettuu helposti vertailtavaan vakioarvoon, tavallisimmin 1.0. Tämä helpottaa tulosten tulkintaa. Jos tarkasteltava yksikkö (maa, organisaatio, ryhmä) saavuttaa tätä vakioarvoa suuremman tuloksen, voidaan tulkita, että ko. yksikkö on onnistunut tuottamaan omalla alallaan keskimääräistä vaikuttavampaa tutkimusta. Ilman normalisointia vaikuttavuusindikaattorien keskiarvot vaihtelevat alasta ja vuodesta riippuen, ja tulosten tulkinta on vaikeaa.
Normalisointi tehdään julkaisujoukoille ala- ja vuosikohtaisesti, joskus jopa julkaisutyypeittäin. Yksittäisen julkaisun vaikuttavuutta määritettäessä sitä ei missään vaiheessa tulisi verrata muita tieteenaloja edustaviin tai eri vuosina ilmestyneisiin julkaisuihin, muuten normalisoinnin tarjoama hyöty (kiinteä alasta riippumaton vertailukeskiarvo) menetetään. Tästä seuraa, että esimerkiksi Top10%-indikaattorista ei voi laskea eri aloja tasapuolisesti kohtelevaa versiota etsimällä viitatuimpaan kymmenykseen kuuluvat julkaisut kaikkien alojen alakohtaisesti normalisoitujen viittausmäärien yhteisjakaumasta. Sen sijaan viitatuin kymmenys on etsittävä erikseen joka vuonna jokaisella alalla, ja tällöin luonnollisestikaan viittausmääriä ei ole tarpeen mitenkään käsitellä - julkaisujen keskinäinen järjestys ei muutu, jos kaikkien viittaukset jaetaan samalla luvulla.
Indikaattorien häiriöalttius
Bibliometriseen analyysin käytettävää dataa voidaan yleensä lähtökohtaisesti pitää jollain tavoin puutteellisena ja virheellisenä, lukuunottamatta ehkä hyvin pieniä analyysejä. Tämän vuoksi ei ole lainkaan yhdentekevää miten herkkiä käytetyt indikaattorit ovat lähtödatan virheille. Voimme kysyä kuinka suuren muutoksen yhden julkaisun tai viittauksen poistaminen tai lisääminen aiheuttaa lopputulokseen, ja tätä kautta yrittää arvioida tulosten luotettavuutta. Yleensä eri aineistot sisältävät osin eri julkaisuja, ja vaikuttavuusindikaattoreita laskevat valmiit ohjelmistot käyttävät erilaisia algoritmeja, joten myös tulokset vaihtelevat aineiston ja ohjelmiston mukaan. Myös viittausten aikaikkunan pituus vaikuttaa siihen, kuinka suuren suhteellisen muutoksen yksikin viittaus voi tuottaa. Lyhyt viittausikkuna on selvästi herkempi. Pidemmän aikaikkunan myötä kertyvät suuremmat viittausmäärät tarkoittavat, että yhden viittauksen suhteellinen merkitys jää usein verrattain pieneksi.
Top x% -tyyppiset indikaattorit eivät ole herkkiä tarkasteltavaan kohdejoukkoon kuuluvalle yksittäiselle erittäin paljon viittauksia keräävälle julkaisulle. Esimerkiksi Top 10% -Indikaattorin kannalta on yhdentekevää kuuluuko julkaisu omassa luokassaan viitatuimpaan 0.1%:iin vai viitatuimpaan 5%:iin. Sen sijaan Top 10% -luokan rajan tuntumassa yksikin viittaus riittää nostamaan julkaisun arvoa oleellisesti. Tällöin käytetty aineisto voi ratkaista julkaisun vaikuttavuusarvon suuntaan tai toiseen. Vaikutus ei välttämättä ole suhteellisesti merkittävä, jos analysoitava julkaisujoukko on suuri (maatason analyysit), mutta pienissä julkaisujoukoissa (tutkimusryhmä, yksittäinen tutkija) ero voi kasvaa huomattavaksi. Sama pätee tietysti silloin, jos julkaisu ylipäänsä jää puuttumaan kohdejoukosta. Koska Top x% -indikaattorit rakentuvat ajatukselle, että vain pienellä osalla julkaisuista ylipäänsä katsotaan olevan vaikuttavuuden kannalta mitään arvoa, on hyvin tärkeää tunnistaa käytettävästä aineistosta kaikki analysoitavan kohdejoukon julkaisut.
Alakohtaisesti normalisoidun viittausindikaattorin suhteen tilanne on päinvastainen. Koska jokainen viittaus tuottaa julkaisulle aina saman pienen lisän vaikuttavuusarvoon, yhden viittauksen puuttuminen ei juuri näy lopputuloksissa. Sen sijaan yksikin kohdejoukkoon osunut, omalla alallaan huomattavan määrän viittauksia kerännyt julkaisu voi vääristää tulokset käyttökelvottomiksi, koska yksittäisen julkaisun vaikuttavuusarvolle ei ole asetettu minkäänlaista ylärajaa. Äärimmäisissä tapauksissa yksi julkaisu voi nostaa kokonaisen organisaation tuloksen moninkertaiseksi.