Julkaisut ovat yksi keskeisimmistä tutkimustoiminnan tuotoksista ja erilaiset julkaisutoiminnan pohjalta tehtävät benchmarking- sekä tieteen tasoa ja vaikuttavuutta mittaavat selvitykset ovatkin vakiinnuttaneet asemansa tiedeyhteisöissä. Vaikka tällaisille selvityksillä on eittämättä paikkansa myös suomalaisessa tiedekentässä, on kuitenkin tärkeää muistaa, etteivät kaikki julkaisumetriikan menetelmät ole suoraan sovellettavissa kaikille tarkastelutasoille. Tästä syystä on tarpeen erottaa toisistaan erilaisia julkaisumetriikan lähestymistapoja ja ymmärtää, millaisia tuloksia valittujen menetelmien käytöstä seuraa. Mikäli julkaisuperusteisia analyysejä halutaan sisällyttää osaksi tutkimustoiminnan arviointeja, on tärkeää osata valita sopivat menetelmät ja työkalut käyttötarpeen mukaan.

Kaavio 1. Julkaisuperusteisen analyysin suunnittelu, aineistonkeruu ja tiedonlähteiden valinta. © Anna-Kaisa Hyrkkänen, 2022 (perustuu Visser M. and Calero C. CWTS Leiden kurssimateriaaliin Measuring Science and Research Performance, 21st September 2015)

Analyysin yleinen suunnittelu

Tarkasteltava yksikkö 

Julkaisumetriikassa tarkasteltavan yksikön laajuus voi vaihdella todella laajasta maakohtaisesta tarkastelusta aina yksilötasolle asti. Julkaisuperusteisten analyysien yhteydessä puhutaan tyypillisesti mikro-, meso- ja makrotasoista. Tyypillisiä mikrotason tarkasteluja ovat yksittäisen tutkijan tai yksittäisen tutkimusryhmän julkaisutoimintaan pohjautuvat analyysit. Tutkijan viittauskertymän tarkastaminen tietystä tietokannasta on esimerkki mikrotason analyysistä. Mesotasolla tarkastelun kohteena voi olla esimerkiksi yksittäinen tutkimusorganisaatio. Yliopistoissa suoritettavat tutkimuksen arvioinnit ja niiden yhteydessä tehtävät julkaisuperusteiset selvitykset ovat hyvä esimerkki mesotason analyyseistä. Makrotasolla tarkastellaan vieläkin laajempaa kokonaisuutta, esimerkiksi kokonaisen maan julkaisutoiminnan analysointia. Suomen Akatemian toteuttamat Tieteen tila -raportit puolestaan ovat yksi esimerkki makrotason analyyseistä. Analysoinnin kohteita -luvussa on kerrottu tarkemmin, kuinka erilaisia yksiköitä voi tarkastella julkaisumetrisin menetelmin.

Huomioi vastuullisuus erityisesti mikrotason tarkasteluissa! Analysoinnin taso on suoraan suhteessa riskeihin, joita liittyy julkaisumetrisiin tarkasteluihin. Mitä pienempi tarkastelutaso analysoinnin kohteena on, sitä suuremmat riskit liittyvät analyysin käyttöön. Analyysillä voi yksilötasolla olla suuremmat vaikutukset, kuin esimerkiksi organisaatiotasolla. Muistetaan, että julkaisuperusteista metriikkaa voidaan käyttää laadullisen asiantuntija-arvioinnin tukena, mutta se ei saa olla ainoa menetelmä arvioitaessa yliopistoja, niiden yksiköitä tai erityisesti yksittäisiä tutkijoita.

Tutkimuksen laatua taaksepäin katsova retrospektiivinen analyysi vai prospektiivinen potentiaalianalyysi?

Mikäli julkaisumetriikassa tarkoituksena on mitata tieteellistä vaikuttavuutta, on tärkeää erottaa toisistaan kaksi erilaista näkökulmaa. Halutaanko kasvattaa ymmärrystä tarkasteltavan yksikön suoriutumisesta menneellä aikavälillä retrospektiivisen analyysin avulla vai halutaanko saada käsitys tietyn yksikön tutkimuspotentiaalista prospektiivisen analyysin avulla. Tarkasteltava näkökulma määrittelee pitkälti kumpaa aineistonkeruumenetelmää käytetään. Käytännön esimerkkinä voidaan ajatella tutkimusorganisaatiossa suoritettavaa tutkimuksen arviointia. Tutkimusaineisto voidaan kerätä poimimalla viittaustietokannasta tarkasteltavalle yksikölle affilioidut julkaisut halutulta aikaväliltä. Tyypillisesti ajanjakso valitaan siten, että julkaisut ehtivät keräämään vähintään kaksi täyttä vuotta viittauksia. Tällöin kyseessä on taaksepäin katsova tarkastelu tutkimuksen viittausvaikuttavuuteen. Vaihtoehtoisesti tutkimusaineisto voidaan kerätä poimimalla viittaustietokannasta tietyn henkilöryhmän, kuten tarkasteltavan yksikön professorien tuottamat julkaisut. Tällöin analyysissa on tarkasteltavana valittujen henkilöiden koko julkaisutuotanto halutulta aikaväliltä, riippumatta siitä, minkä organisaation nimissä julkaisut ovat tuotettu. Tämä jälkimmäinen tapa aineistonkeruulle mahdollistaa tarkasteltavan yksikön tulevaisuuden tutkimuspotentiaalin tarkastelun eli kyseessä on eteenpäin katsova tarkastelu. Aineistonkeruuvaiheessa on myös mahdollista yhdistellä näitä kahta tiedonkeruumenetelmää.  

Analyysin näkökulma: mitä analyysin avulla halutaan selvittää?

Julkaisumetriikassa käytettävien menetelmien avulla voidaan analysoida tarkasteltavaa yksikköä erilaisista näkökulmista, joista tyypillisimpiä ovat:

• Tutkimuksen laajuutta, tasoa ja vaikuttavuutta mittaavat selvitykset, jotka voivat kohdistua mikro-, meso- tai makrotasolle. Julkaisujen lukumääriä tarkastelemalla voidaan selvittää mitkä organisaatiot tekevät tutkimusta tietyllä alalla ja kuinka laajasta tutkimustoiminnasta on kyse. Tutkimuksen tasoa ja vaikuttavuutta voidaan suuntaa antavasti tarkastella normalisoitujen viittausvaikuttavuusindikaattoreiden avulla. Niiden avulla voidaan esimerkiksi selvittää, kuinka suuri osa tarkasteltavan yksikön julkaisuista kuuluu maailman viitatuimpien julkaisujen joukkoon.
• Benchmarking -selvityksissä (vertailuanalyysi tai esikuva-analyysi) puolestaan verrataan tarkasteltavan yksikön kuten yksittäisen tutkijan, tutkimuslaitoksen, yliopiston tai maan suoriutumista muihin vastaavanlaisiin yksiköihin. Vastuullisen metriikan nimissä on tärkeää, että valitut yksiköt ovat keskenään vertailukelpoisia. Eri tieteenalojen tutkimusta tai tutkijoita ei ole syytä verrata keskenään julkaisujen kautta, sillä julkaisu- ja viittauskäytännöissä on huomattavia eroja eri tieteenaloilla.
• Verkostoanalyysien (Network analysis) avulla voidaan tutkia julkaisujen välisiä suhteita julkaisun tekijöiden, käytettyjen termien tai viittausten perusteella. Yhteistyöverkostojen (Collaboration networks) avulla voidaan tarkastella julkaisujen tekijöiden tai organisaatioiden välistä yhteistyötä. Semanttisten verkosto- tai yhteissana-analyysien kautta voidaan tarkastella tietyssä artikkelijoukossa yleisimmin esiintyviä sanoja. Tällaiset analyysit ovat hyödyllisiä, kun halutaan tarkastella kuinka eri tutkimusalat linkittyvät toisiinsa tai mitä yhtäläisyyksiä niillä on. Viittauksiin perustuvat verkostoanalyysit (Citation Networks) tarkastelevat julkaisujen välisiä suhteita viittausten kautta. Viittaussuhteet voivat olla suoria, jolloin tarkasteltavat julkaisut viittaavat toisiinsa tai niitä voi tarkastella yhteisviittausten kautta tarkastelemalla joko artikkeleita, jotka viittaavat samoihin julkaisuihin tai tarkastelemalla artikkeleita, joihin viittaavat samat julkaisut. 

Aineistonkeruumenetelmiä

Jotta tarkasteltavan yksikön julkaisutoimintaa on mahdollista analysoida, tulee yksikön tuottamat julkaisut pystyä ensin tunnistamaan luotettavasti. Aineistonkeruu voidaan toteuttaa esimerkiksi:

• Keräämällä joukko julkaisuja: tarkasteltavan yksikön julkaisut voidaan esimerkiksi poimia halutulta aikaväliltä organisaation tutkimustietojärjestelmästä.
• Tutkijoiden nimien perusteella: määrittelemällä tutkijat, joiden julkaisutuotanto muodostaa tarkasteltavan aineiston. Esimerkiksi, jos halutaan tarkastella tietyn tutkimusryhmän julkaisutoimintaa, aloitetaan aineistonkeruu listaamalla tutkijat, joiden julkaisut halutaan mukaan tarkasteluun. Aineistonkeruuvaiheessa on hyvä olla tarkkana, jotta valittujen tutkijoiden kaikki eri nimivariantit, aiemmin käyttämät nimet ja tietokantoihin mahdollisesti väärin indeksoidut nimet tulee huomioitua.
• Affiliaatioiden perusteella: määrittelemällä yksiköt, joiden julkaisutuotanto muodostaa tarkasteltavan aineiston. Aineistonkeruuvaiheessa on hyvä olla tarkkana, jotta kaikki yksikön käyttämät nykyiset, entiset ja erikieliset nimien kirjoitusasut tulee huomioitua.
• Hakusanojen perusteella: tarkasteltava aineisto voidaan kerätä listattujen hakusanojen avulla. Esimerkiksi, jos halutaan tarkastella kestävän kehityksen julkaisuja, voidaan tarkastelu aloittaa keräämällä aiheeseen liittyvät keskeiset termit listaksi.
  
• Julkaisukanavien perusteella: tarkasteltava aineisto voidaan kerätä esimerkiksi valittujen tieteellisten aikakauslehtien avulla.

Riippumatta siitä, millä tavoin aineistonkeruu suoritetaan, on suositeltavaa tarjota tarkastelun kohteena olevalle taholle mahdollisuus tarkastaa kerätyn aineiston virheettömyys.

Analyysissä käytettävän tiedonlähteen valinta

Julkaisujen ja niiden keräämien viittausten tarkasteluun tarvitaan viittaustietokanta tai niihin pohjautuva analyysityökalu. Valintaa tehdessä tulisi huomioida ja punnita viittaustietokantojen eroja erityisesti niiden sisältämien aineistojen kattavuuden osalta. Käyttöön on suositeltavaa valita viittaustietokanta, joka parhaiten kattaa tarkasteltavan yksikön julkaisut. Myös tietokannan sisältämän aineiston laadulla sekä hakutoiminnoilla ja analysointiominaisuuksilla on merkitystä. Käytetyimmät monitieteiset viittaustietokannat ja analyysityökalut on esitelty tämän oppaan Tiedonlähteet ja työkalut -luvussa.

Lisälukemista

Laajempi kuvaus analyysiprosesseista erilaisten bibliometristen tarkastelujen yhteydessä on esitetty oheisessa artikkelissa:

Naveen, D., Satish, K., Debmalya, M., Nitesh, P. and Weng, M.L. (2021) How to conduct a bibliometric analysis: An overview and guidelines. Journal of Business Research, Vol 133, pp. 285-296. Saatavilla: https://doi.org/10.1016/j.jbusres.2021.04.070

Lähteet

Hyrkkänen, A-K. (2022) Julkaisuperusteisen analyysin suunnittelu, aineistonkeruu ja tiedonlähteiden valinta [kaavio]. Perustuu Visser M. and Calero C. CWTS Leiden kurssimateriaaliin Measuring Science and Research Performance, 21st September 2015.

Luvun jäsentely pohjautuu CWTS Leidenin kurssimateriaaliin: Visser, M. and Calero, C. (2015) Measuring Science and Research Performance, CWTS Leiden Course material, 21st September 2015.