Sisältösuunnitelma
- aikaikkuna
- osittaminen
- normalisointi
- indikaattorien häiriöalttius
- Viittausten aikaikkuna
Käsitteellä "Viittausten aikaikkuna" tarkoitamme seuraavassa aikaa, jonka kuluessa tehdyt viittaukset otetaan huomioon vaikuttavuusanalyysissä. Poikkeustapauksia lukuunottamatta aikaikkunaa ei yleensä rajoiteta alhaalta päin, ts. julkaisuun jopa ennen nimellistä ilmestymispäivää tehdyt viittaukset lasketaan mukaan. Ylärajan suhteen pitää sen sijaan asettaa jokin minimivaatimus. Tieteellinen julkaiseminen vertaisarviointeineen on aikaa vievä prosessi, joten viittauksien kertyminen artikkeleille tapahtuu hitaasti. Tämän vuoksi viittausmääriin perustavia vaikuttavuusarvioita on hyödytöntä tehdä kovin tuoreille julkaisuille. Lisäksi viittausten kertymisnopeus vaihtelee huomattavasti tieteenalojen välillä. Viittausikkunan valintaan vaikuttaa myös käyttötarkoitus: rahoituspäätöksiä tai rekrytointeja varten ei ole mahdollista odottaa useita vuosia, jotta selviäisi julkaisun lopullinen vaikuttavuus, vaan päätökset pitää tehdä kulloinkin saatavilla olevan informaation mukaan. Lopuksi on huomattava, että viittausikkunan riittävä pituus riippuu myös käytettävästä vaikuttavuusindikaattorista.
Tavanomaisesti lyhin käytetty aikaikkuna on kolme vuotta. julkaisujen ilmestymisvuoden jälkeen odotetaan siis vielä kaksi vuotta ennen kuin vaikuttavuusarviointeja tehdään. Kolmen vuoden ikkuna riittää alustavaan arviontiin aloilla, joilla viittaukset kertyvät nopeasti (esimerkiksi biotieteet). Sen sijaan hitaammin kehittyvillä aloilla kolme vuotta on selvästi liian lyhyt aika, varsinkin jos tarkoitus on käyttää Top p% -tyyppisiä indikaattoreita.
Mitä vanhempia julkaisuja tarkastellaan, sitä pidempään ne ovat ehtineet kerätä viittauksia. Suurin informaation määrä ja tarkin analyysi saadaan luonnollisesti käyttämällä ylärajaltaan avointa viittausikkunaa, jolloin kaikki viittaukset vaikuttavat lopputulokseen. Tämän vuoksi bibliometrisissa vaikuttavuusanalyyseissä tulisi ensisijaisesti aina käyttää avointa viittausikkunaa. Viittausten rajaaminen esimerkiksi kolmeen ilmestymisen jälkeiseen vuoteen julkaisujen iästä riippumatta vääristää tuloksia sitä voimakkaammin, mitä vanhemmista julkaisuista on kyse. Julkaisut, jotka keräävät ilmestyessään nopeasti viittauksia (ns. hot papers), eivät välttämättä ole enää muutaman vuoden päästä omassa vertailuryhmässään viitatuimpien joukossa.
Katkaistu viittausikkuna ei myöskään kohtele eri maista tulevia julkaisuja identtisesti: lyhyt ikkuna suosii joitain maita (Saksa, Iso-Britannia, Yhdysvallat) ja saa toisten maiden (esimerkiksi Suomi, Ruotsi, Norja) tulokset näyttämään todellista huonommilta. Tämän vuoksi maiden tieteellisen vaikuttavuuden ajallista kehitystä kartoittavissa tutkimuksissa katkaistu viittausikkuna on erityisen haitallinen.
Keinotekoisesti katkaistua viittauskertymää ei voi perustella sillä, että avoin ikkuna suosisi vanhempia julkaisuja, koska eri ikäisiä julkaisuja ei oikein tehdyssä analyysissä koskaan verrata keskenään. Katkaistua viittausikkunaa voi käyttää, jos analyysin tarkoituksena on nimenomaisesti tutkia ilmestymisajankohtanaan hetkelliseen tieteelliseen keskusteluun osallistuneita julkaisuja.
2. Julkaisujen osittaminen