Julkaisut ovat yksi keskeisimmistä tutkimustoiminnan tuotoksista ja erilaiset julkaisutoiminnan pohjalta tehtävät benchmark sekä tieteen tasoa ja vaikuttavuutta mittaavat selvitykset ovatkin vakiinnuttaneet asemansa tiedeyhteisöissä. Vaikka tällaisille selvityksillä on eittämättä paikkansa myös suomalaisessa tiedekentässä, on kuitenkin tärkeää muistaa, etteivät kaikki bibliometriset menetelmät ole suoraan sovellettavissa kaikille tarkastelutasoille. Tästä syystä on tarpeen erottaa toisistaan erilaisia bibliometrisiä lähestymistapoja ja ymmärtää millaisia tuloksia valittujen menetelmien käytöstä seuraa. Mikäli bibliometrisiä analyysejä halutaan sisällyttää osaksi tutkimustoiminnan arviointeja, on tärkeää osata valita sopivat menetelmät käyttötarpeen mukaan.
Kaavio 1. Bibliometrisen analyysin suunnittelu, aineistonkeruu ja tiedonlähteiden valinta. © Anna-Kaisa Hyrkkänen, 2022 (based on Visser M. and Calero C. CWTS Leiden Course material Measuring Science and Research Performance)
Analyysin yleinen suunnittelu
Tarkasteltava yksikkö
Bibliometrisissä analyyseissä tarkasteltavan yksikön laajuus voi vaihdella todella laajasta maakohtaisesta tarkastelusta aina yksilötasolle asti. Bibliometristen menetelmien yhteydessä puhutaan tyypillisesti mikro-, meso- ja makrotasoista. Tyypillisiä mikrotason tarkasteluja ovat yksittäisen tutkijan tai yksittäisen tutkimusryhmän julkaisutoimintaan pohjautuvat analyysit. Tutkijan viittauskertymän tarkastaminen tietystä tietokannasta on esimerkki mikrotason analyysistä. Mesotasolla tarkastelun kohteena voi olla esimerkiksi yksittäinen tutkimusorganisaatio. Yliopistoissa suoritettavat tutkimuksen arvioinnit ja niiden yhteydessä tehtävät bibliometriset selvitykset ovat hyvä esimerkki mesotason analyyseistä. Makrotasolla tarkastellaan vieläkin laajempaa kokonaisuutta, esimerkiksi kokonaisen maan julkaisutoiminnan analysointia. Suomen Akatemian toteuttamat Tieteen tila -raportit puolestaan ovat yksi esimerkki makrotason analyyseistä.
Tutkimuksen laatua takautuvasti tarkasteleva retrospektiivinen analyysi vai prospektiivinen potentiaalianalyysi?
Mikäli bibliometrisen analyysin tarkoituksena on mitata tieteellistä vaikuttavuutta, on tärkeää erottaa toisistaan kaksi erilaista näkökulmaa. Halutaanko kasvattaa ymmärrystä tarkasteltavan yksikön suoriutumisesta menneellä aikavälillä retrospektiivisen analyysin avulla vai halutaanko saada käsitys tietyn yksikön tutkimuspotentiaalista prospektiivisen avulla. Aineistonkeruumenetelmät määrittävät pitkälti kumpaa näkökulmaa käytetään. Käytännön esimerkkinä voidaan ajatella tutkimusorganisaatiossa suoritettavaa tutkimuksen arviointia. Tutkimusaineisto voidaan kerätä poimimalla viittaustietokannasta tarkasteltavalle yksikölle affilioidut julkaisut halutulta aikaväliltä. Tyypillisesti ajanjakso on valittua siten, että julkaisut ovat ehtineet keräämään vähintään kaksi täyttä vuotta viittauksia. Tällöin kyseessä on takautuva tarkastelunäkökulma tutkimuksen laatuun. Vaihtoehtoisesti tutkimusaineisto voidaan kerätä poimimalla viittaustietokannasta tietyn henkilöryhmän tuottamat julkaisut kuten tarkasteltavan yksikön professorit. Tällöin analyysissa on tarkasteltavana valittujen henkilöiden koko julkaisutuotanto halutulta aikaväliltä, riippumatta siitä minkä organisaation nimissä julkaisut ovat tuotettu. Tämä jälkimmäinen tapa aineistonkeruulle mahdollistaa tarkasteltavan yksikön tulevaisuuden tutkimuspotentiaalin tarkastelun. Aineistonkeruuvaiheessa on myös mahdollista yhdistellä näitä kahta tiedonkeruumenetelmää.