Metodologisia näkökulmia

1.  Viittausten aikaikkuna

Käsitteellä "Viittausten aikaikkuna" tarkoitamme seuraavassa aikaa, jonka kuluessa tehdyt viittaukset otetaan huomioon vaikuttavuusanalyysissä. Poikkeustapauksia lukuunottamatta aikaikkunaa ei yleensä rajoiteta alhaalta päin, ts. julkaisuun jopa ennen nimellistä ilmestymispäivää tehdyt viittaukset lasketaan mukaan. Ylärajan suhteen pitää sen sijaan asettaa jokin minimivaatimus. Tieteellinen julkaiseminen vertaisarviointeineen on aikaa vievä prosessi, joten viittauksien kertyminen artikkeleille tapahtuu hitaasti. Tämän vuoksi viittausmääriin perustavia vaikuttavuusarvioita on hyödytöntä tehdä kovin tuoreille julkaisuille. Lisäksi viittausten kertymisnopeus vaihtelee huomattavasti tieteenalojen välillä. Viittausikkunan valintaan vaikuttaa myös käyttötarkoitus: rahoituspäätöksiä tai rekrytointeja varten ei ole mahdollista odottaa useita vuosia, jotta selviäisi julkaisun lopullinen vaikuttavuus, vaan päätökset pitää tehdä kulloinkin saatavilla olevan informaation mukaan. Lopuksi on huomattava, että viittausikkunan riittävä pituus riippuu myös käytettävästä vaikuttavuusindikaattorista.

Tavanomaisesti lyhin käytetty aikaikkuna on kolme vuotta. julkaisujen ilmestymisvuoden jälkeen odotetaan siis vielä kaksi vuotta ennen kuin vaikuttavuusarviointeja tehdään. Kolmen vuoden ikkuna riittää alustavaan arviontiin aloilla, joilla viittaukset kertyvät nopeasti (esimerkiksi biotieteet). Sen sijaan hitaammin kehittyvillä aloilla kolme vuotta on selvästi liian lyhyt aika, varsinkin jos tarkoitus on käyttää Top p% -tyyppisiä indikaattoreita.

Mitä vanhempia julkaisuja tarkastellaan, sitä pidempään ne ovat ehtineet kerätä viittauksia. Suurin informaation määrä ja tarkin analyysi saadaan luonnollisesti käyttämällä ylärajaltaan avointa viittausikkunaa, jolloin kaikki viittaukset vaikuttavat lopputulokseen. Tämän vuoksi bibliometrisissa vaikuttavuusanalyyseissä tulisi ensisijaisesti aina käyttää avointa viittausikkunaa. Viittausten rajaaminen esimerkiksi kolmeen ilmestymisen jälkeiseen vuoteen julkaisujen iästä riippumatta vääristää tuloksia sitä voimakkaammin, mitä vanhemmista julkaisuista on kyse. Julkaisut, jotka keräävät ilmestyessään nopeasti viittauksia (ns. hot papers), eivät välttämättä ole enää muutaman vuoden päästä omassa vertailuryhmässään viitatuimpien joukossa.

Katkaistu viittausikkuna ei myöskään kohtele eri maista tulevia julkaisuja identtisesti: lyhyt ikkuna suosii joitain maita (Saksa, Iso-Britannia, Yhdysvallat) ja saa toisten maiden (esimerkiksi Suomi, Ruotsi, Norja) tulokset näyttämään todellista huonommilta. Tämän vuoksi maiden tieteellisen vaikuttavuuden ajallista kehitystä kartoittavissa tutkimuksissa katkaistu viittausikkuna on erityisen haitallinen.

Keinotekoisesti katkaistua viittauskertymää ei voi perustella sillä, että avoin ikkuna suosisi vanhempia julkaisuja, koska eri ikäisiä julkaisuja ei oikein tehdyssä analyysissä koskaan verrata keskenään. Katkaistua viittausikkunaa voi käyttää, jos analyysin tarkoituksena on nimenomaisesti tutkia ilmestymisajankohtanaan hetkelliseen tieteelliseen keskusteluun osallistuneita julkaisuja.  

   4. Indikaattorien häiriöalttius

Bibliometriseen analyysin käyttävää dataa voidaan yleensä lähtökohtaisesti pitää puutteellisena ja virheellisenä, lukuunottamatta ehkä hyvin pieniä analyysejä. Tämän vuoksi ei ole lainkaan yhdentekevää miten herkkiä käytetyt indikaattorit ovat lähtödatan virheille. Voimme kysyä kuinka suuren muutoksen yhden julkaisun tai viittauksen poistaminen tai lisääminen aiheuttaa lopputulokseen. Virheet vaikuttavat sekä varsinaisessa analyysin kohteena olevassa julkaisujoukossa että vertailuaineistossa.