Miten yliopistoja ja tutkimuslaitoksia analysoidaan

Yliopistojen tutkimuksen kokonaisarvioinnit 

Julkaisumetriikasta on muodostunut vakiintunut osa yliopistojen ja organisaatioiden tutkimuksen arviointia. Tutkimusjulkaisut kertovat osaltaan tarkasteltavien yksiköiden toiminnasta ja sen impaktista.  

Julkaisutarkastelut edellyttävät kullekin tarkasteltavalle yksikölle kuuluvien julkaisujen poimimista yleensä organisaation omasta julkaisutietokannasta arviointiin valitulle ajanjaksolle. Julkaisutietokannan tietojen laadun ja kattavuuden ylläpitämiseen kannattaa panostaa hyvissä ajoin, sillä julkaisujen täydentäminen vasta arviointivaiheessa voi hidastaa ja kuormittaa niiden arviointiprosessia. 

Julkaisuista tehdään yleensä bibliometrisiä tarkasteluja ja muita julkaisutilastoja. Julkaisutarkastelujen aikaikkuna tulee valita niin, että viimeisen tarkasteltavan vuoden julkaisut on saatu kerättyä kattavasti ja niille on ehtinyt kertyä viittauksia. 

Yliopistojen bibliometrisissä tarkasteluissa käytetään yleisesti ulkopuolista analyysitahoa. Euroopassa yleisesti käytetty arviointien tekijä on Leidenin yliopiston yhteydessä toimiva CWTS bv. Tarkastelut on yleensä tehty Web of Sciencen pohjalta, ja tällöin tarkasteluista jää puuttumaan paitsi yhteiskuntatieteiden ja humanististen tieteiden, myös tietojenkäsittelytieteen ja insinööritieteiden julkaisuja. Arviointien yhteydessä onkin päätettävä, tehdäänkö analyysi samoin periaattein kaikille, vai rajataanko joitakin arviointiyksikköjä yhdenmukaisen viittausanalyysin ulkopuolelle, ja tehdäänkö niille tässä tapauksessa rinnakkaisia tarkasteluja. Usein jälkimmäiset tehdään oman organisaation julkaisumetriikka-asiantuntijoiden toimesta arvioitavan yksikön kanssa yhteistyössä sopien. 

Julkaisutilasto-osuus tehdään tavallisesti Julkaisufoorumitasojen mukaan. Tällöin kannattaa huomioida OKM:n julkaisuraportoinnissa ja Julkaisufoorumin omissa käytännöissä tarkastelujaksolla tapahtuneet merkittävimmät muutokset. 

Julkaisujen valitsemisessa tarkasteluihin voidaan käyttää esimerkiksi taaksepäin katsovaa arviointia, johon sisältyvät yksikön kaikki julkaisut tarkastelujaksolla. Eteenpäin katsovassa arvioinnissa julkaisut rajataan niiden kirjoittajien julkaisuihin, jotka ovat arvioinnissa määriteltynä nykyhetkenä työsuhteessa yksikössä. Tällöin julkaisut on poimittava henkilöittäin.  Muita tarkastelunäkökulmia voivat olla uraportaittaiset tarkastelut, mutta nämä edellyttävät organisaation tietojärjestelmien tehokasta ja usein työlästä hyödyntämistä. 

Organisaatioiden väliseen yhteistyöhön liittyvät tarkastelut 

Yhteistyötarkasteluja tehdään usein taustoituksena organisaatioiden välisiin tapaamisiin liittyen sekä toiminnan kehittämisen ja suuntaamisen tarpeisiin. Tutkimusorganisaatioiden yhteistyöstä löytyy jälkiä tutkimusjulkaisuista, kun artikkelissa on kirjoittajia eri organisaatioista. Bibliometrisiä tarkasteluja voidaankin käyttää apuna organisaatioiden välisen yhteistyön kartoittamiseen. Tämä voi olla tarpeen muun muassa toimintaan liittyvässä raportoinnissa ja tutkimusyhteistyön suunnittelussa.  

Varsinaiset bibliometriset tietokannat (esimerkiksi Web of Science ja Scopus) antavat tunnuslukuja organisaatioiden julkaisutoiminnasta. Yhteisjulkaisuja voidaan poimia affliaatiorajauksin. Tietokannoissa on käytettävissä on yleensä vain yksi tieteenalaluokitus. 

Yleensä tarkasteluun käytetään impaktitarkastelut mahdollistavia välineitä, kuten InCites ja SciVal. Näissä julkaisuihin liittyvä metadata on käsitelty niin, että eri kohteet (affiliaatiot, julkaisut, jne.) on määritelty selkeästi, ja tarkasteluihin voidaan valita kussakin tapauksessa mielekkäin tieteenalaluokitus. Tavoitteena on yleensä saada tarkasteluihin mukaan vertailuja maailman keskiarvolukuihin ja tuoda esille organisaatioiden keskeiset yhteiset tutkimusalueet.  

Yhteistyötarkasteluissa tulee kiinnittää huomiota hyperkollaboraatioihin, joissa mukana saattaa olla tutkijoita kymmenistä tai sadoista eri maista. Näiden julkaisujen impakti on usein todella suuri, mutta organisaatioiden välisestä yhteistyöstä voi syntyä vinoutunut kuva, mikäli nämä julkaisut ovat mukana tarkasteluissa. 

Toinen huomioitava tekijä on organisaatioissa tapahtuneet muutokset, esimerkiksi yhdistymiset muihin organisaatioihin, jotka saattavat vaikuttaa kohteiden määrittelyyn. 

Verrokkiyliopistojen ja -organisaatioiden määrittäminen 

Verrokeiksi valitaan organisaatioita, jotka ovat kooltaan, tutkimusprofiililtaan ja tutkimusaiheiltaan riittävän samankaltaisia tarkasteltavilla tieteenaloilla. Näin organisaatioiden bibliometrisiä indikaattoreita voidaan riittävän luotettavasti verrata toisiinsa.  

Julkaisujen osalta vertailtavia julkaisuja tulee olla riittävästi. Tarkasteltavan tutkimusjulkaisudatan tulee olla riittävän koherenttia – eli tutkimustoiminnan tulee olla riittävän kohdennettua tutkittaviin aiheisiin. Tarkempaa tietoa tutkimusaiheista saadaan tarvittaessa klusteritarkasteluilla. 

Yleensä sama verrokki ei sovellu organisaation kaikkien tieteenalojen verrokiksi, vaan verrokit valitaan tieteenaloittain. 

Kansalliset ja kansainväliset katsaukset 

Suomalaiset yliopistot, korkeakoulut ja tutkimuslaitokset raportoivat julkaisujaan Opetus- ja kulttuuriministeriölle. Opetushallinnon Vipunen-tilastopalvelusta löytyy paitsi raportoituja tietoja, myös Web of Science ja Scopus-pohjaisia pitkän aikavälin analyyseja. CSC:llä on käytössään dataa, joka mahdollistaa mm. yhteistyössä laadittujen julkaisujen osittamisen eri organisaatioille. 
 
Suomen Akatemia on julkaissut 2012 lähtien kahden vuoden välein Tieteen tila -yhteenvetoja, joissa julkaisumetriikkaa on avattu lähestyttävämmin kuin Vipusessa. Jatkossa nämä tarkastelut ilmestyvät vuosittain.  

Suomalaisten organisaatioiden tarkasteluissa käytetään Top 10% -indikaattoria, joka seuraa viitatuimpien julkaisujen osuutta. Koska näissä tarkasteluissa käytetään Web of Sciencen julkaisudataa, tarkastelut eivät ole yhtä kattavia kaikilla aloilla. Jatkossa Tieteen tilaa on tarkoitus täydentää Julkaisufoorumiluokitukseen pohjautuvilla laatutarkasteluilla. 

Yleiskatsauksia pohjoismaisten organisaatioiden tutkimukseen löytyy NordForskin toimesta laaditusta, muutaman vuoden välein päivittyvästä katsauksesta. Se koostetaan pohjoismaisten tahojen yhteistyönä. Uusin katsaus Comparing Research at Nordic Higher Education Institutions Using Bibliometric Indicators ulottuu vuoteen 2014. 

OECD seuraa eri maiden bibliometrisiä STI-indikaattoreita (Science, Technology & Innovation) maatasolla.  

Yliopistorankingit 

Julkaisutarkasteluja alettiin käyttää kansainvälisiin vertailuihin vuoden 2000 tienoilla. Aluksi vertailtiin tutkijoita (Highly Cited Researchers, HCR).  Vuonna 2003 Kiinassa alettiin käyttää mm. HCR-tuloksia ja Web of Sciencen dataa yliopistojen vertailuun. Shanghain Jiao Tong -yliopiston ARWU  (Academic Ranking Academic Ranking of World UniversitiesWorld Universities) -rankkaus ranking käyttää monia julkaisumetriikkaan monia julkaisumetriikkaan nojautuvia mittareita.  ARWU on vahvasti julkaisuihin perustuva rankkaus. Lisäksi ARWU on vahvasti julkaisuihin perustuva ranking. Lisäksi se huomioi organisaation saamat Nobelin palkinnot ja saamat Nobelin palkinnot ja matematiikan Fieldsin mitalit. 

ARWUn lisäksi markkinoille on tullut monenlaisia yliopistovertailujaARWUn lisäksi markkinoille on tullut monenlaisia yliopistovertailuja. Usein niitä tuottavat erilaiset kaupalliset toimijat.  Niiden Niiden painotukset ja menetelmät vaihtelevat menetelmät vaihtelevat melko paljon.  Useimmissa rankkauksissa Useimmissa rankingeissa julkaisut muodostavat vain yhden osion,  muita pisteitä kertyy monenlaisin kriteereinmuita pisteitä kertyy monenlaisin kriteerein. Yliopistoilta kerätään rankkauksessa käytettyjä tunnuslukuja, kun taas osa pisteistä saattaa tulla esimerkiksi mainekyselyistä. Kunkin kerätään rankingissa käytettyjä tunnuslukuja, kun taas osa pisteistä saattaa tulla esimerkiksi mainekyselyistä. Kunkin rankingin tarkempi metodologia kuvaillaan niiden kuvaillaan niiden omilla sivuilla. 

ARWUn lisäksi ARWUn lisäksi paljon seurattuja kansainvälisiä rankkauksia rankingeja ovat mm.  ScopusScopus-tietokannan dataa julkaisujen tarkasteluun hyödyntävät dataa julkaisujen tarkasteluun hyödyntävät Times Higher Education (THE) ja QS-rankkaukset sekä Web rankingit sekä Web of Sciencen dataa käyttävät käyttävät US News ja NTU -rankkauksetrankingit.  Jälkimmäisissä Jälkimmäisissä julkaisutarkastelujen osuus on ollut on ollut suurempi.  Lisäksi puhtaasti bibliometrisiin aineistoihin pohjautuvia rankkauksia edustavat Lisäksi puhtaasti bibliometrisiin aineistoihin pohjautuvia rankingeja edustavat Taiwanin kansallisen yliopiston yliopiston NTU-ranking ja hollantilainen Leidenin yliopiston CWTS-ranking. 

Huolimatta rankingien erilaisista ongelmista, yliopistot seuraavat rankkauksia rankingeja tarkasti ja uutisoivat omista sijoituksistaan, varsinkin jos sijoitukset ovat hyviä. Markkinoille on tullut tieteenalakohtaisia rankkauksia rankingeja ja erilaisista näkökulmista (ikä, kestävä kehitys, sijainti, jne.) tehtyjä rankkauksiarankingeja. Niissä on omia arviointikriteerejään, ja moni organisaatio saa usein yleisrankkausta yleisrankingia korkeampia sijoituksia.