Metodologisia näkökulmia

1.  Viittausten aikaikkuna

Käsitteellä "Viittausten aikaikkuna" tarkoitamme aikaa, jonka kuluessa tehdyt viittaukset otetaan huomioon vaikuttavuusanalyysissä. Poikkeustapauksia lukuunottamatta aikaikkunaa ei yleensä rajoiteta alhaalta päin, ts. julkaisuun jopa ennen nimellistä ilmestymispäivää tehdyt viittaukset lasketaan mukaan. Ylärajan suhteen pitää sen sijaan asettaa jokin minimivaatimus. Tieteellinen julkaiseminen vertaisarviointeineen on aikaa vievä prosessi, joten viittauksien kertyminen artikkeleille tapahtuu hitaasti. Tämän vuoksi viittausmääriin perustavia vaikuttavuusarvioita on hyödytöntä tehdä kovin tuoreille julkaisuille. Lisäksi viittausten kertymisnopeus vaihtelee huomattavasti tieteenalojen välillä. Viittausikkunan valintaan vaikuttaa myös käyttötarkoitus: rahoituspäätöksiä tai rekrytointeja varten ei ole mahdollista odottaa useita vuosia, jotta selviäisi julkaisun lopullinen vaikuttavuus, vaan päätökset pitää tehdä kulloinkin saatavilla olevan parhaan informaation mukaan. Lopuksi on huomattava, että viittausikkunan riittävä pituus riippuu myös käytettävästä vaikuttavuusindikaattorista.

Tavanomaisesti lyhin käytetty aikaikkuna on kolme vuotta. julkaisujen ilmestymisvuoden jälkeen odotetaan siis vielä kaksi vuotta ennen kuin vaikuttavuusarviointeja tehdään. Kolmen vuoden ikkuna riittää alustavaan arviontiin aloilla, joilla viittaukset kertyvät nopeasti (esimerkiksi biotieteet). Sen sijaan hitaammin kehittyvillä aloilla kolme vuotta on selvästi liian lyhyt aika, varsinkin jos tarkoitus on käyttää Top p% -tyyppisiä indikaattoreita.

Mitä vanhempia julkaisuja tarkastellaan, sitä pidempään ne ovat ehtineet kerätä viittauksia. Suurin informaation määrä ja tarkin analyysi saadaan luonnollisesti käyttämällä ylärajaltaan avointa viittausikkunaa, jolloin kaikki viittaukset vaikuttavat lopputulokseen. Tämän vuoksi bibliometrisissa vaikuttavuusanalyyseissä tulisi ensisijaisesti aina käyttää avointa viittausikkunaa. Viittausten rajaaminen esimerkiksi kolmeen ilmestymisen jälkeiseen vuoteen julkaisujen iästä riippumatta vääristää tuloksia sitä voimakkaammin, mitä vanhemmista julkaisuista on kyse. Julkaisut, jotka keräävät ilmestyessään nopeasti viittauksia (ns. hot papers), eivät välttämättä ole enää muutaman vuoden päästä omassa vertailuryhmässään viitatuimpien joukossa.

Katkaistu viittausikkuna ei myöskään kohtele eri maista tulevia julkaisuja identtisesti: lyhyt ikkuna suosii joitain maita (Saksa, Iso-Britannia, Yhdysvallat) ja saa toisten maiden (esimerkiksi Suomi, Ruotsi, Norja) tulokset näyttämään todellista huonommilta. Tämän vuoksi maiden tieteellisen vaikuttavuuden ajallista kehitystä kartoittavissa tutkimuksissa katkaistu viittausikkuna on erityisen haitallinen.

Keinotekoisesti katkaistua viittauskertymää ei voi perustella sillä, että avoin ikkuna suosisi vanhempia julkaisuja, koska eri ikäisten julkaisujen viittausmääriä ei oikein tehdyssä analyysissä koskaan verrata suoraan keskenään. Katkaistua viittausikkunaa voi käyttää, jos analyysin tarkoituksena on nimenomaisesti tutkia ilmestymisajankohtanaan hetkelliseen tieteelliseen keskusteluun osallistuneita julkaisuja.  

   4. Indikaattorien häiriöalttius

Bibliometriseen analyysin käytettävää dataa voidaan yleensä lähtökohtaisesti pitää jollain tavoin puutteellisena ja virheellisenä, lukuunottamatta ehkä hyvin pieniä analyysejä. Tämän vuoksi ei ole lainkaan yhdentekevää miten herkkiä käytetyt indikaattorit ovat lähtödatan virheille. Voimme kysyä kuinka suuren muutoksen yhden julkaisun tai viittauksen poistaminen tai lisääminen aiheuttaa lopputulokseen, ja tätä kautta yrittää arvioida tulosten luotettavuutta. Yleensä eri aineistot sisältävät osin eri julkaisuja, ja vaikuttavuusindikaattoreita laskevat valmiit ohjelmistot käyttävät erilaisia algoritmeja, joten myös tulokset vaihtelevat aineiston ja ohjelmiston mukaan.

Top p% -tyyppiset indikaattorit eivät ole herkkiä tarkasteltavaan kohdejoukkoon kuuluvalle yksittäiselle erittäin paljon viittauksia keräävälle julkaisulle. Esimerkiksi Top 10% -Indikaattorin kannalta on yhdentekevää kuuluuko julkaisu omassa luokassaan viitatuimpaan 1%:iin vai viitatuimpaan 5%:iin. Sen sijaan Top 10% -luokan rajalla yksikin viittaus riittää nostamaan julkaisun arvoa oleellisesti. Tällöin käytetty aineisto voi ratkaista julkaisun vaikuttavuusarvon suuntaan tai toiseen. Vaikutus ei välttämättä ole suhteellisesti merkittävä, jos analysoitava julkaisujoukko on suuri (maatason analyysit), mutta pienissä julkaisujoukoissa (tutkimusryhmä, yksittäinen tutkija) ero voi kasvaa huomattavaksi.

Alakohtaisesti normalisoidun viittauskeskiarvon suhteen tilanne on päinvastainen. Koska jokainen viittaus tuottaa julkaisulle aina saman pienen lisän vaikuttavuusarvoon, yhden viittauksen puuttuminen ei juuri näy lopputuloksissa. Sen sijaan kohdejoukkoon osunut huomattavan määrän viittauksiä kerännyt julkaisu voi vääristää tulokset käyttökelvottomiksi, koska yksittäisen julkaisun vaikuttavuusarvolle ei ole asetettu minkäänlaista ylärajaa. Äärimmäisissä tapauksissa yksi julkaisu voi nostaa kokonaisen yliopiston tuloksen moninkertaiseksi.