Erilaiset julkaisutoiminnan pohjalta tehtävät benchmark sekä tieteen tasoa ja vaikuttavuutta mittaavat selvitykset ovat vakiinnuttaneet asemansa tiedeyhteisöissä. Vaikka tällaisille selvityksillä on eittämättä paikkansa myös suomalaisessa tiedekentässä, on kuitenkin tärkeää muistaa, etteivät kaikki bibliometriset menetelmät ole suoraan sovellettavissa kaikille tarkastelutasoille. Tästä syystä, on tarpeen erottaa toisistaan erilaisia bibliometrisiä lähestymistapoja ja ymmärtää millaisia tuloksia valittujen menetelmien käytöstä seuraa. Mikäli bibliometrisiä analyysejä halutaan sisällyttää osaksi tutkimustoiminnan arviointeja, on tärkeää osata valita sopivat menetelmät käyttötarpeen mukaan.
Analyysin yleinen suunnittelu
Tarkasteltava yksikkö
Bibliometrisissä analyyseissä tarkasteltavan yksikön laajuus voi vaihdella todella laajasta maakohtaisesta tarkastelusta aina yksilötasolle asti. Bibliometristen menetelmien yhteydessä puhutaan tyypillisesti mikro-, meso- ja makrotasoista. Tyypillisiä mikrotason tarkasteluja ovat yksittäisen tutkijan tai yksittäisen tutkimusryhmän julkaisutoimintaan pohjautuvat analyysit. Tutkijan viittauskertymän tarkastaminen tietystä tietokannasta on esimerkki mikrotason analyysistä. Mesotasolla tarkastelun kohteena voi olla esimerkiksi yksittäinen tutkimusorganisaatio. Yliopistoissa suoritettavat tutkimuksen arvioinnit ja niiden yhteydessä tehtävät bibliometriset selvitykset ovat hyvä esimerkki mesotason analyyseistä. Makrotasolla tarkastellaan vieläkin laajempaa kokonaisuutta, esimerkiksi kokonaisen maan julkaisutoimintaa. Suomen Akatemian toteuttamat Tieteen tila raportit puolestaan ovat yksi esimerkki makrotason analyyseistä.
Analyysin näkökulma: retrospektiivinen analyysi vai potentiaalianalyysi?
Mikäli bibliometrisen analyysin tarkoituksena on mitata tieteellistä vaikuttavuutta, on tärkeää erottaa toisistaan kaksi erilaista näkökulmaa. Halutaanko kasvattaa ymmärrystä tarkasteltavan yksikön suoriutumisesta menneellä aikavälillä retrospektiivisen analyysin avulla vai halutaanko saada käsitys tietyn yksikön tutkimuspotentiaalista potentiaalianalyysin avulla. Aineistonkeruumenetelmät määrittävät pitkälti kumpaa näkökulmaa käytetään. Käytännön esimerkkinä voidaan ajatella tutkimusorganisaatiossa suoritettavaa tutkimuksen arviointia. Mikäli tutkimusaineisto on kerätty poimimalla tarkasteltavan yksikön tietyn aikavälin julkaisut analyysissä käytetystä viitetietokannasta, on kyseessä retrospektiivisen analyysi. Tyypillisesti ajanjakso on valittua siten, että tarkasteltavat julkaisut ovat ehtineet keräämään vähintään kaksi täyttä vuotta viittauksia. Vaihtoehtoisesti tutkimusaineisto voidaan kerätä poimimalla viitetietokannasta tietyn henkilöryhmän tuottamat julkaisut kuten tarkasteltavan yksikön professorit. Tällöin analyysissa on tarkasteltavana valittujen henkilöiden koko julkaisutuotanto halutulta aikaväliltä, riippumatta siitä minkä organisaation nimissä julkaisut ovat tuotettu. Aineistonkeruuvaiheessa on myös mahdollista yhdistellä näitä kahta tiedonkeruumenetelmää. KIRJOITA VIELÄ MILLAISIIN KYSYMYKSIIN NÄMÄ MENETELMÄT VASTAAVAT