Viittausten aikaikkuna

Käsitteellä "Viittausten aikaikkuna" (usein lyhyemmin myös pelkkä "viittausikkuna") tarkoitamme aikaa, jonka kuluessa tehdyt viittaukset otetaan analyysissä huomioon. Poikkeustapauksia lukuunottamatta aikaikkunalle ei yleensä aseteta alarajaa, ts. julkaisuun jopa ennen nimellistä ilmestymispäivää tehdyt viittaukset otetaan huomioon. Ylärajan suhteen pitää sen sijaan asettaa jokin minimivaatimus. Tieteellinen julkaiseminen vertaisarviointeineen on aikaa vievä prosessi, joten viittauksien kertyminen artikkeleille tapahtuu hitaasti. Tämän vuoksi viittausmääriin perustavia vaikuttavuusarvioita on hyödytöntä tehdä kovin tuoreille julkaisuille. Lisäksi viittausten kertymisnopeus vaihtelee huomattavasti tieteenalojen välillä. Viittausikkunan valintaan vaikuttaa myös käyttötarkoitus: rahoituspäätöksiä tai rekrytointeja varten ei ole mahdollista odottaa useita vuosia, jotta selviäisi julkaisun lopullinen viittausvaikuttavuus, vaan päätökset pitää tehdä kulloinkin saatavilla olevan parhaan informaation mukaan. Lopuksi on huomattava, että viittausikkunan riittävä pituus riippuu myös käytettävästä vaikuttavuusindikaattorista.

Tavanomaisesti lyhin käytetty aikaikkuna on kolme vuotta. Julkaisujen ilmestymisvuoden jälkeen odotetaan siis vielä kaksi vuotta ennen kuin vaikuttavuusarviointeja tehdään. Kolmen vuoden ikkuna riittää alustavaan arviointiin aloilla, joilla viittaukset kertyvät nopeasti. Aloilla, joissa julkaisuprosessi on hiottu sujuvaksi ja viittauksia kertyy erittäin ripeästi (esimerkiksi jotkin bio- ja lääketieteen osa-alueet) voi harkita lyhyemmänkin viittausikkunan soveltamista, jos käytössä on taajasti päivitetty viittausdata. Sen sijaan hitaamman julkaisusyklin aloilla (monet humanistiset alat, matematiikka) kolmekin vuotta on selvästi liian lyhyt aika, varsinkin jos tarkoitus on käyttää Top x% -tyyppisiä indikaattoreita. Näillä aloilla esiintyy tilanteita, joissa vielä kaksi vuotta ilmestymisen jälkeen viitatuimpaan kymmenykseen pääsee yhdellä viittauksella, minkä ei voitane tulkita osoittavan erityistä viittausvaikuttavuutta.

Mitä vanhempia julkaisuja tarkastellaan, sitä pidempään ne ovat ehtineet kerätä viittauksia. Suurin informaation määrä ja tarkin analyysi saadaan luonnollisesti käyttämällä ylärajaltaan avointa viittausikkunaa. Tällöin kaikki viittaukset, tulkootpa ne vaikka vuosikymmeniä julkaisun ilmestymisen jälkeen, vaikuttavat lopputulokseen. Bibliometrisissa vaikuttavuusanalyyseissä tulisi ensisijaisesti käyttää avointa viittausikkunaa. Viittausten rajaaminen esimerkiksi vain kolmeen ilmestymisen jälkeiseen vuoteen julkaisujen iästä riippumatta vääristää tuloksia sitä voimakkaammin, mitä vanhemmista julkaisuista on kyse. Julkaisut, jotka keräävät ilmestyessään nopeasti viittauksia (ns. hot papers), eivät välttämättä ole enää muutaman vuoden päästä omassa vertailuryhmässään viitatuimpien joukossa. Lyhyt viittausten aikaikkuna mittaa siis erilaista tieteellistä viittausvaikuttavuutta kuin avoin ikkuna. Lyhyt viittausikkuna korostaa ilmestymishetkenään ajankohtaiseen tieteelliseen keskusteluun osallistuneita julkaisuja, kun taas pysyvämmän jäljen jättävät julkaisut pääsevät usein esiin vasta pidemmän ajan kuluessa. 

Katkaistu viittausikkuna ei myöskään kohtele eri maista tulevia julkaisuja identtisesti: lyhyt ikkuna suosii joitakin maita (Saksa, Iso-Britannia, Yhdysvallat) ja saa toisten maiden (esimerkiksi Suomi, Ruotsi, Norja) tulokset näyttämään todellista huonommilta. Tämän vuoksi maiden viittausvaikuttavuuden ajallista kehitystä kartoittavissa tutkimuksissa katkaistu viittausikkuna on erityisen haitallinen.

Keinotekoisesti katkaistua viittausikkunaa ei voi perustella sillä, että rajoittamaton aika suosisi vanhempia julkaisuja. Eri ikäisten julkaisujen viittausmääriä ei vastuullisesti tehdyssä analyysissä koskaan verrata suoraan keskenään. Katkaistua viittausikkunaa voi käyttää, jos analyysin tarkoituksena on nimenomaisesti identifioida ilmestymisaikanaan tärkeinä pidettyjä julkaisuja.  

Osittaminen

Tieteelliset julkaisut ovat harvoin yhden tutkijan kirjoittamia. Mukana voi olla tutkijoita useasta organisaatiosta tai useasta maasta. Kun arvioidaan jonkin tutkimusta tekevän tahon (maa, yliopisto) tieteellisen julkaisutoiminnan laajuutta, voidaan tulos esittää joko osittamattomina (engl. full count tai whole count) tai ositettuina (fractionalized) julkaisumäärinä. Osittamaton julkaisumäärä vastaa kysymykseen "Kuinka monessa julkaisussa organisaatio/ryhmä/tutkija on ollut osallisena?", ositettu julkaisumäärä puolestaan kuvaa vastaavasti organisaation/ryhmän/tekijän osuutta käytettävän aineiston kaikista julkaisuista. Ositus on luonnollisinta tehdä samaa tasoa edustavien yksiköiden kesken: kun vertaillaan maita, julkaisut ositetaan maiden kesken; kun vertaillaan organisaatioita, ositetaan organisaatioiden kesken. Ositetut julkaisumäärät ovat vertailtavissa esimerkiksi alakohtaisesti koko aineiston julkaisumääriin, tai organisaatioiden tapauksessa isäntämaan ositettuun julkaisumäärään. Osittamattomat julkaisumäärät eivät ole samalla tavoin vertailukelpoisia, koska yhteisjulkaisut tulevat lasketuksi useampaan kertaan. Osittamattomien julkaisumäärien osalta pitääkin aina erikseen harkita huolellisesti, ovatko  tulokset ylipäänsä summautuvia. Osittamattomia julkaisumääriä voi laskea yhteen, jos kukin julkaisu kuuluu enintään yhteen summattavaan osajoukkoon (esimerkiksi eri vuosina ilmestyneet julkaisut). Sen sijaan vaikkapa yliopiston julkaisujen lukumäärää ei voi laskea summaamalla yliopiston osittamattomat julkaisumäärät kaikilta tieteenaloilta, jos yksi julkaisu voi olla luokiteltu useammalle alalle.

Kun sen sijaan arvioidaan julkaisutoiminnan viittausvaikuttavuutta, julkaisut ja julkaisukohtaiset vaikuttavuusarvot on aina ositettava eli painotettava kertoimilla, joiden summa jokaisen julkaisun osalta on 1.0. Ellei ole erityisen painavia perusteita toimia toisin, ositus on syytä suorittaa tasan kaikkien julkaisun tekemiseen osallistuneiden tahojen kanssa. Tutkijoilla tai tutkimusryhmillä voi olla eri hankkeissa erilaisia rooleja (kokeellinen työ, kenttätyö, teoreettinen työ), eikä näiden keskinäiseen arvottamiseen ole olemassa objektiivisia mittareita. Näennäisen yksinkertaiset vaihtoehdot, kuten esimerkiksi tekijöiden affiliaatioiden laskeminen, ovat yleensä keinotekoisia ja helposti manipuloitavia. Jos vaikuttavuuslaskelmat tehdään ilman ositusta, lopputuloksista puuttuu mittakaava (tulokset eivät enää kerro miten tarkasteltujen tekijätahojen vaikuttavuus suhtautuu koko aineiston keskiarvoon), ja laskelmat suosivat voimakkaasti niitä maita, organisaatioita ja tieteenaloja, jotka esiintyvät useimmin yhteisjulkaisuissa.  

Normalisointi

Normalisoinnilla tarkoitetaan julkaisumetriikassa julkaisukohtaisten viittausvaikuttavuusarvojen laskemista sellaisin menetelmin, että niin koko aineiston kuin jokaisen vuoden ja tieteenalankin osalta erikseen tulosten keskiarvo asettuu helposti vertailtavaan vakioarvoon, tavallisimmin 1.0. Tämä helpottaa tulosten tulkintaa. Jos tarkasteltava yksikkö (maa, organisaatio, ryhmä) saavuttaa tätä vakioarvoa suuremman tuloksen, voidaan tulkita, että ko. yksikkö on onnistunut tuottamaan omalla alallaan keskimääräistä vaikuttavampaa tutkimusta. Ilman normalisointia vaikuttavuusindikaattorien keskiarvot vaihtelevat alasta ja vuodesta riippuen,  ja tulosten tulkinta on vaikeaa.

Normalisointi tehdään julkaisujoukoille ala- ja vuosikohtaisesti, joskus jopa julkaisutyypeittäin. Yksittäisen julkaisun viittausvaikuttavuutta määritettäessä sitä ei missään vaiheessa tulisi verrata muita tieteenaloja edustaviin tai eri vuosina ilmestyneisiin julkaisuihin, muuten normalisoinnin tarjoama hyöty (kiinteä alasta riippumaton vertailukeskiarvo) menetetään. Tästä seuraa, että esimerkiksi Top10%-indikaattorista ei voi laskea eri aloja tasapuolisesti kohtelevaa versiota etsimällä viitatuimpaan kymmenykseen kuuluvat julkaisut kaikkien alojen alakohtaisesti normalisoitujen viittausmäärien yhteisjakaumasta. Sen sijaan viitatuin kymmenys on etsittävä erikseen joka vuonna jokaisella alalla, ja tällöin luonnollisestikaan viittausmääriä ei ole tarpeen mitenkään käsitellä - julkaisujen keskinäinen järjestys ei muutu, jos kaikkien viittaukset jaetaan samalla luvulla. 

Indikaattorien häiriöalttius

Bibliometriseen analyysin käytettävää dataa voidaan yleensä lähtökohtaisesti pitää jollain tavoin puutteellisena ja virheellisenä, lukuunottamatta ehkä hyvin pieniä analyysejä. Tämän vuoksi ei ole lainkaan yhdentekevää miten herkkiä käytetyt indikaattorit ovat lähtödatan virheille. Voimme kysyä kuinka suuren muutoksen yhden julkaisun tai viittauksen poistaminen tai lisääminen aiheuttaa lopputulokseen, ja tätä kautta yrittää arvioida tulosten luotettavuutta. Yleensä eri aineistot sisältävät osin eri julkaisuja, ja viittausvaikuttavuusindikaattoreita laskevat valmiit ohjelmistot käyttävät erilaisia algoritmeja, joten myös tulokset vaihtelevat aineiston ja ohjelmiston mukaan. Myös viittausten aikaikkunan pituus vaikuttaa siihen, kuinka suuren suhteellisen muutoksen yksikin viittaus voi tuottaa. Lyhyt viittausikkuna on selvästi herkempi. Pidemmän aikaikkunan myötä kertyvät suuremmat viittausmäärät tarkoittavat, että yhden viittauksen suhteellinen merkitys jää usein verrattain pieneksi.

Top x% -tyyppiset indikaattorit eivät ole herkkiä tarkasteltavaan kohdejoukkoon kuuluvalle yksittäiselle erittäin paljon viittauksia keräävälle julkaisulle. Esimerkiksi Top 10% -Indikaattorin kannalta on yhdentekevää kuuluuko julkaisu omassa luokassaan viitatuimpaan 0.1%:iin vai viitatuimpaan 5%:iin. Sen sijaan Top 10% -luokan rajan tuntumassa yksikin viittaus riittää nostamaan julkaisun arvoa oleellisesti. Tällöin käytetty aineisto voi ratkaista julkaisun vaikuttavuusarvon suuntaan tai toiseen. Vaikutus ei välttämättä ole suhteellisesti merkittävä, jos analysoitava julkaisujoukko on suuri (maatason analyysit), mutta pienissä julkaisujoukoissa (tutkimusryhmä, yksittäinen tutkija) ero voi kasvaa huomattavaksi. Sama pätee tietysti silloin, jos julkaisu ylipäänsä jää puuttumaan kohdejoukosta. Koska Top x% -indikaattorit rakentuvat ajatukselle, että vain pienellä osalla julkaisuista ylipäänsä katsotaan olevan vaikuttavuuden kannalta mitään arvoa, on hyvin tärkeää tunnistaa käytettävästä aineistosta kaikki analysoitavan kohdejoukon julkaisut.

Alakohtaisesti normalisoidun viittausindikaattorin suhteen tilanne on päinvastainen. Koska jokainen viittaus tuottaa julkaisulle aina saman pienen lisän vaikuttavuusarvoon, yhden viittauksen puuttuminen ei juuri näy lopputuloksissa. Sen sijaan yksikin kohdejoukkoon osunut, omalla alallaan huomattavan määrän viittauksia kerännyt julkaisu voi vääristää tulokset käyttökelvottomiksi, koska yksittäisen julkaisun vaikuttavuusarvolle ei ole asetettu minkäänlaista ylärajaa. Äärimmäisissä tapauksissa yksi julkaisu voi nostaa kokonaisen organisaation tuloksen moninkertaiseksi.    

Datan soveltuvuus bibliometriseen analyysiin

Bibliometriseen analyysin käytetyn julkaisutietokannan tulee olla kahdella tavalla kattava. Ensinnäkin datan kautta pitää saada edustava otos tarkasteltavan yksikön julkaisuista. Emme siis voi analysoida kauppakorkeakoulua yksinomaan lääketieteeseen keskittyvän julkaisuaineiston perusteella. Otoksen riittävyyttä on mahdollista arvioida vertaamalla tietokannasta löytyvien, tarkastelun kohteelle kirjattujen julkaisujen lukumäärää yksikön omasta rekisteristä löytyvien tieteellisten julkaisujen määrään (ulkoinen kattavuus). Yleensä suomalaisten yliopistojen ja tutkimuslaitosten osalta yleisimpien kaupallisten julkaisutietokantojen ulkoinen kattavuus on riittävän korkea luonnontieteissä ja tekniikassa (poislukien tietojenkäsittelytiede), lääketieteessä ja maatalous- ja metsätieteissä. Yhteiskuntatieteiden ja humanististen tieteiden kohdalla tilanne on yleensä heikompi, joten bibliometristen analyysien tuloksiin näillä aloilla on suhtauduttava varovasti. Suhteellista edustavuutta mittaavan ulkoisen kattavuuden vaatimuksen lisäksi viittausvaikuttavuusindikaattorien laskennassa sovelletaan tavallisesti myös absoluuttista 50 julkaisun minimirajaa. Tätä pienemmille julkaisumäärille ei pitäisi esittää lainkaan vaikuttavuustuloksia.

Toisaalta datan pitää tarjota myös riittävästi vertailukelpoista aineistoa, jotta tarkasteltavan yksikön viittausvaikuttavuutta voidaan mielekkäästi arvioida suhteessa muihin julkaisuihin. Emme voi esittää väitteitä julkaisujen vaikuttavuudesta, vaikka ne sattuisivatkin tietokantaan kuulumaan, jos suurin osa saman alan julkaisuista on jätetty tietokannan ulkopuolelle. Näiden poisjätettyjen julkaisujen osuutta ei tietenkään voi suoraan laskea, mutta sitä pyritään arvioimaan sisäisen kattavuuden avulla. Sisäinen kattavuus kertoo kuinka suuri osuus julkaisutietokantaan kirjatuista lähdeviittauksista kohdistuu muihin saman tietokannan julkaisuihin. Jos aineiston sisäinen kattavuus on jollain tieteenalalla matala (esimerkiksi alle 40 %), huomattava osa ko. alan keskeisistä julkaisuista mitä ilmeisimmin puuttuu käytetystä aineistosta, eikä vaikuttavuuslaskelmien tekeminen ole perusteltua.