...
Käsitteellä "Viittausten aikaikkuna" (usein lyhyemmin myös pelkkä "viittausikkuna") tarkoitamme aikaa, jonka kuluessa tehdyt viittaukset otetaan analyysissä huomioon. Poikkeustapauksia lukuunottamatta aikaikkunalle ei yleensä aseteta alarajaa, ts. julkaisuun jopa ennen nimellistä ilmestymispäivää tehdyt viittaukset otetaan huomioon. Ylärajan suhteen pitää sen sijaan asettaa jokin minimivaatimus. Tieteellinen julkaiseminen vertaisarviointeineen on aikaa vievä prosessi, joten viittauksien kertyminen artikkeleille tapahtuu hitaasti. Tämän vuoksi viittausmääriin perustavia vaikuttavuusarvioita on hyödytöntä tehdä kovin tuoreille julkaisuille. Lisäksi viittausten kertymisnopeus vaihtelee huomattavasti tieteenalojen välillä. Viittausikkunan valintaan vaikuttaa myös käyttötarkoitus: rahoituspäätöksiä tai rekrytointeja varten ei ole mahdollista odottaa useita vuosia, jotta selviäisi julkaisun lopullinen vaikuttavuusviittausvaikuttavuus, vaan päätökset pitää tehdä kulloinkin saatavilla olevan parhaan informaation mukaan. Lopuksi on huomattava, että viittausikkunan riittävä pituus riippuu myös käytettävästä vaikuttavuusindikaattorista.
Tavanomaisesti lyhin käytetty aikaikkuna on kolme vuotta. Julkaisujen ilmestymisvuoden jälkeen odotetaan siis vielä kaksi vuotta ennen kuin vaikuttavuusarviointeja tehdään. Kolmen vuoden ikkuna riittää alustavaan arviointiin aloilla, joilla viittaukset kertyvät nopeasti. Aloilla, joissa julkaisuprosessi on hiottu sujuvaksi ja viittauksia kertyy erittäin ripeästi (esimerkiksi jotkin bio- ja lääketieteen osa-alueet) voi harkita lyhyemmänkin viittausikkunan soveltamista, jos käytössä on taajasti päivitetty viittausdata. Sen sijaan hitaamman julkaisusyklin aloilla (monet humanistiset alat, matematiikka) kolmekin vuotta on selvästi liian lyhyt aika, varsinkin jos tarkoitus on käyttää Top x% -tyyppisiä indikaattoreita. Näillä aloilla esiintyy tilanteita, joissa vielä kaksi vuotta ilmestymisen jälkeen viitatuimpaan kymmenykseen pääsee yhdellä viittauksella, minkä ei voitane tulkita osoittavan erityistä tieteellistä vaikuttavuuttaviittausvaikuttavuutta.
Mitä vanhempia julkaisuja tarkastellaan, sitä pidempään ne ovat ehtineet kerätä viittauksia. Suurin informaation määrä ja tarkin analyysi saadaan luonnollisesti käyttämällä ylärajaltaan avointa viittausikkunaa. Tällöin kaikki viittaukset, tulkootpa ne vaikka vuosikymmeniä julkaisun ilmestymisen jälkeen, vaikuttavat lopputulokseen. Bibliometrisissa vaikuttavuusanalyyseissä tulisi ensisijaisesti käyttää avointa viittausikkunaa. Viittausten rajaaminen esimerkiksi vain kolmeen ilmestymisen jälkeiseen vuoteen julkaisujen iästä riippumatta vääristää tuloksia sitä voimakkaammin, mitä vanhemmista julkaisuista on kyse. Julkaisut, jotka keräävät ilmestyessään nopeasti viittauksia (ns. hot papers), eivät välttämättä ole enää muutaman vuoden päästä omassa vertailuryhmässään viitatuimpien joukossa. Lyhyt viittausten aikaikkuna mittaa siis erilaista tieteellistä vaikuttavuutta viittausvaikuttavuutta kuin avoin ikkuna. Lyhyt viittausikkuna korostaa ilmestymishetkenään ajankohtaiseen tieteelliseen keskusteluun osallistuneita julkaisuja, kun taas pysyvämmän jäljen jättävät julkaisut pääsevät usein esiin vasta pidemmän ajan kuluessa.
Katkaistu viittausikkuna ei myöskään kohtele eri maista tulevia julkaisuja identtisesti: lyhyt ikkuna suosii joitakin maita (Saksa, Iso-Britannia, Yhdysvallat) ja saa toisten maiden (esimerkiksi Suomi, Ruotsi, Norja) tulokset näyttämään todellista huonommilta. Tämän vuoksi maiden tieteellisen vaikuttavuuden viittausvaikuttavuuden ajallista kehitystä kartoittavissa tutkimuksissa katkaistu viittausikkuna on erityisen haitallinen.
...
Kun sen sijaan arvioidaan julkaisutoiminnan vaikuttavuuttaviittausvaikuttavuutta, julkaisut ja julkaisukohtaiset vaikuttavuusarvot on aina ositettava eli painotettava kertoimilla, joiden summa jokaisen julkaisun osalta on 1.0. Ellei ole erityisen painavia perusteita toimia toisin, ositus on syytä suorittaa tasan kaikkien julkaisun tekemiseen osallistuneiden tahojen kanssa. Tutkijoilla tai tutkimusryhmillä voi olla eri hankkeissa erilaisia rooleja (kokeellinen työ, kenttätyö, teoreettinen työ), eikä näiden keskinäiseen arvottamiseen ole olemassa objektiivisia mittareita. Näennäisen yksinkertaiset vaihtoehdot, kuten esimerkiksi tekijöiden affiliaatioiden laskeminen, ovat yleensä keinotekoisia ja helposti manipuloitavia. Jos vaikuttavuuslaskelmat tehdään ilman ositusta, lopputuloksista puuttuu mittakaava (tulokset eivät enää kerro miten tarkasteltujen tekijätahojen vaikuttavuus suhtautuu koko aineiston keskiarvoon), ja laskelmat suosivat voimakkaasti niitä maita, organisaatioita ja tieteenaloja, jotka esiintyvät useimmin yhteisjulkaisuissa.
...
Normalisoinnilla tarkoitetaan julkaisumetriikassa julkaisukohtaisten vaikuttavuusarvojen viittausvaikuttavuusarvojen laskemista sellaisin menetelmin, että niin koko aineiston kuin jokaisen vuoden ja tieteenalankin osalta erikseen tulosten keskiarvo asettuu helposti vertailtavaan vakioarvoon, tavallisimmin 1.0. Tämä helpottaa tulosten tulkintaa. Jos tarkasteltava yksikkö (maa, organisaatio, ryhmä) saavuttaa tätä vakioarvoa suuremman tuloksen, voidaan tulkita, että ko. yksikkö on onnistunut tuottamaan omalla alallaan keskimääräistä vaikuttavampaa tutkimusta. Ilman normalisointia vaikuttavuusindikaattorien keskiarvot vaihtelevat alasta ja vuodesta riippuen, ja tulosten tulkinta on vaikeaa.
Normalisointi tehdään julkaisujoukoille ala- ja vuosikohtaisesti, joskus jopa julkaisutyypeittäin. Yksittäisen julkaisun vaikuttavuutta viittausvaikuttavuutta määritettäessä sitä ei missään vaiheessa tulisi verrata muita tieteenaloja edustaviin tai eri vuosina ilmestyneisiin julkaisuihin, muuten normalisoinnin tarjoama hyöty (kiinteä alasta riippumaton vertailukeskiarvo) menetetään. Tästä seuraa, että esimerkiksi Top10%-indikaattorista ei voi laskea eri aloja tasapuolisesti kohtelevaa versiota etsimällä viitatuimpaan kymmenykseen kuuluvat julkaisut kaikkien alojen alakohtaisesti normalisoitujen viittausmäärien yhteisjakaumasta. Sen sijaan viitatuin kymmenys on etsittävä erikseen joka vuonna jokaisella alalla, ja tällöin luonnollisestikaan viittausmääriä ei ole tarpeen mitenkään käsitellä - julkaisujen keskinäinen järjestys ei muutu, jos kaikkien viittaukset jaetaan samalla luvulla.
...
Bibliometriseen analyysin käytettävää dataa voidaan yleensä lähtökohtaisesti pitää jollain tavoin puutteellisena ja virheellisenä, lukuunottamatta ehkä hyvin pieniä analyysejä. Tämän vuoksi ei ole lainkaan yhdentekevää miten herkkiä käytetyt indikaattorit ovat lähtödatan virheille. Voimme kysyä kuinka suuren muutoksen yhden julkaisun tai viittauksen poistaminen tai lisääminen aiheuttaa lopputulokseen, ja tätä kautta yrittää arvioida tulosten luotettavuutta. Yleensä eri aineistot sisältävät osin eri julkaisuja, ja vaikuttavuusindikaattoreita viittausvaikuttavuusindikaattoreita laskevat valmiit ohjelmistot käyttävät erilaisia algoritmeja, joten myös tulokset vaihtelevat aineiston ja ohjelmiston mukaan. Myös viittausten aikaikkunan pituus vaikuttaa siihen, kuinka suuren suhteellisen muutoksen yksikin viittaus voi tuottaa. Lyhyt viittausikkuna on selvästi herkempi. Pidemmän aikaikkunan myötä kertyvät suuremmat viittausmäärät tarkoittavat, että yhden viittauksen suhteellinen merkitys jää usein verrattain pieneksi.
...
Bibliometriseen analyysin käytetyn julkaisutietokannan tulee olla kahdella tavalla kattava. Ensinnäkin datan kautta pitää saada edustava otos tarkasteltavan yksikön julkaisuista. Emme siis voi analysoida kauppakorkeakoulua yksinomaan lääketieteeseen keskittyvän julkaisuaineiston perusteella. Otoksen riittävyyttä on mahdollista arvioida vertaamalla tietokannasta löytyvien, tarkastelun kohteelle kirjattujen julkaisujen lukumäärää yksikön omasta rekisteristä löytyvien tieteellisten julkaisujen määrään (ulkoinen kattavuus). Yleensä suomalaisten yliopistojen ja tutkimuslaitosten osalta yleisimpien kaupallisten julkaisutietokantojen ulkoinen kattavuus on riittävän korkea luonnontieteissä ja tekniikassa (poislukien tietojenkäsittelytiede), lääketieteessä ja maatalous- ja metsätieteissä. Yhteiskuntatieteiden ja humanististen tieteiden kohdalla tilanne on yleensä heikompi, joten bibliometristen analyysien tuloksiin näillä aloilla on suhtauduttava varovasti. Suhteellista edustavuutta mittaavan ulkoisen kattavuuden vaatimuksen lisäksi vaikuttavuusindikaattorien viittausvaikuttavuusindikaattorien laskennassa sovelletaan tavallisesti myös absoluuttista 50 julkaisun minimirajaa. Tätä pienemmille julkaisumäärille ei pitäisi esittää lainkaan vaikuttavuustuloksia.
Toisaalta datan pitää tarjota myös riittävästi vertailukelpoista aineistoa, jotta tarkasteltavan yksikön vaikuttavuutta viittausvaikuttavuutta voidaan mielekkäästi arvioida suhteessa muihin julkaisuihin. Emme voi esittää väitteitä julkaisujen vaikuttavuudesta, vaikka ne sattuisivatkin tietokantaan kuulumaan, jos suurin osa saman alan julkaisuista on jätetty tietokannan ulkopuolelle. Näiden poisjätettyjen julkaisujen osuutta ei tietenkään voi suoraan laskea, mutta sitä pyritään arvioimaan sisäisen kattavuuden avulla. Sisäinen kattavuus kertoo kuinka suuri osuus julkaisutietokantaan kirjatuista lähdeviittauksista kohdistuu muihin saman tietokannan julkaisuihin. Jos aineiston sisäinen kattavuus on jollain tieteenalalla matala (esimerkiksi alle 40 %), huomattava osa ko. alan keskeisistä julkaisuista mitä ilmeisimmin puuttuu käytetystä aineistosta, eikä vaikuttavuuslaskelmien tekeminen ole perusteltua.
...