How are universities and research institutions analysed?

Overall evaluations of university research 

Publication metrics have become an established part of evaluating research at universities and organisations. Scholarly publications provide some insight into the activities and impact of the units under review.  

Publication analysis require the extraction of publications belonging to each unit under review, usually from the organisation’s own publication database for the period selected for the review. It is advisable to invest in maintaining the quality and coverage of the data in the publication database at an early stage, as adding new publications only at the evaluation stage can delay and complicate the evaluation process. 

JBibliometric analysis and other publication statistics are usually compiled on publications. The time window for publication reviews should be chosen so that there has been time for a comprehensive number of publications and citations to accumulate in the last review year.

In bibliometric reviews of universities, it is common to use an external provider for the analysis. In Europe, the most commonly used evaluation provider is Leiden University’s research organisation CWTS B.V. The analyses are usually based on the Web of Science database, which covers incompletely some field of science, like social sciences, humanities, computer science and engineering. It will therefore have to be decided whether to apply the same analysis principles to all, or whether to exclude some evaluation units from the consistent citation analysis and, in the case of the latter, whether to carry out parallel analyses for them. Often the latter will be done by the publication metrics experts in the organisation itself, in consultation with the unit being evaluated. 

Julkaisutilasto-osuus tehdään tavallisesti Julkaisufoorumitasojen mukaan. Tällöin kannattaa huomioida OKM:n julkaisuraportoinnissa ja Julkaisufoorumin omissa käytännöissä tarkastelujaksolla tapahtuneet merkittävimmät muutokset. 

Julkaisujen valitsemisessa tarkasteluihin voidaan käyttää esimerkiksi taaksepäin katsovaa arviointia, johon sisältyvät yksikön kaikki julkaisut tarkastelujaksolla. Eteenpäin katsovassa arvioinnissa julkaisut rajataan niiden kirjoittajien julkaisuihin, jotka ovat arvioinnissa määriteltynä nykyhetkenä työsuhteessa yksikössä. Tällöin julkaisut on poimittava henkilöittäin.  Muita tarkastelunäkökulmia voivat olla uraportaittaiset tarkastelut, mutta nämä edellyttävät organisaation tietojärjestelmien tehokasta ja usein työlästä hyödyntämistä. 

Organisaatioiden väliseen yhteistyöhön liittyvät tarkastelut 

Yhteistyötarkasteluja tehdään usein taustoituksena organisaatioiden välisiin tapaamisiin liittyen sekä toiminnan kehittämisen ja suuntaamisen tarpeisiin. Tutkimusorganisaatioiden yhteistyöstä löytyy jälkiä tutkimusjulkaisuista, kun artikkelissa on kirjoittajia eri organisaatioista. Bibliometrisiä tarkasteluja voidaankin käyttää apuna organisaatioiden välisen yhteistyön kartoittamiseen. Tämä voi olla tarpeen muun muassa toimintaan liittyvässä raportoinnissa ja tutkimusyhteistyön suunnittelussa.  

Varsinaiset bibliometriset tietokannat (esimerkiksi Web of Science ja Scopus) antavat tunnuslukuja organisaatioiden julkaisutoiminnasta. Yhteisjulkaisuja voidaan poimia affliaatiorajauksin. Tietokannoissa on käytettävissä on yleensä vain yksi tieteenalaluokitus. 

Yleensä tarkasteluun käytetään impaktitarkastelut mahdollistavia välineitä, kuten InCites ja SciVal. Näissä julkaisuihin liittyvä metadata on käsitelty niin, että eri kohteet (affiliaatiot, julkaisut, jne.) on määritelty selkeästi, ja tarkasteluihin voidaan valita kussakin tapauksessa mielekkäin tieteenalaluokitus. Tavoitteena on yleensä saada tarkasteluihin mukaan vertailuja maailman keskiarvolukuihin ja tuoda esille organisaatioiden keskeiset yhteiset tutkimusalueet.  

Yhteistyötarkasteluissa tulee kiinnittää huomiota hyperkollaboraatioihin, joissa mukana saattaa olla tutkijoita kymmenistä tai sadoista eri maista. Näiden julkaisujen impakti on usein todella suuri, mutta organisaatioiden välisestä yhteistyöstä voi syntyä vinoutunut kuva, mikäli nämä julkaisut ovat mukana tarkasteluissa. 

Toinen huomioitava tekijä on organisaatioissa tapahtuneet muutokset, esimerkiksi yhdistymiset muihin organisaatioihin, jotka saattavat vaikuttaa kohteiden määrittelyyn. 

Verrokkiyliopistojen ja -organisaatioiden määrittäminen 

Verrokeiksi valitaan organisaatioita, jotka ovat kooltaan, tutkimusprofiililtaan ja tutkimusaiheiltaan riittävän samankaltaisia tarkasteltavilla tieteenaloilla. Näin organisaatioiden bibliometrisiä indikaattoreita voidaan riittävän luotettavasti verrata toisiinsa.  

Julkaisujen osalta vertailtavia julkaisuja tulee olla riittävästi. Tarkasteltavan tutkimusjulkaisudatan tulee olla riittävän koherenttia – eli tutkimustoiminnan tulee olla riittävän kohdennettua tutkittaviin aiheisiin. Tarkempaa tietoa tutkimusaiheista saadaan tarvittaessa klusteritarkasteluilla. 

Yleensä sama verrokki ei sovellu organisaation kaikkien tieteenalojen verrokiksi, vaan verrokit valitaan tieteenaloittain. 

Kansalliset ja kansainväliset katsaukset 

Suomalaiset yliopistot, korkeakoulut ja tutkimuslaitokset raportoivat julkaisujaan Opetus- ja kulttuuriministeriölle. Opetushallinnon Vipunen-tilastopalvelusta löytyy paitsi raportoituja tietoja, myös Web of Science ja Scopus-pohjaisia pitkän aikavälin analyyseja. CSC:llä on käytössään dataa, joka mahdollistaa mm. yhteistyössä laadittujen julkaisujen osittamisen eri organisaatioille. 
 
Suomen Akatemia on julkaissut 2012 lähtien kahden vuoden välein Tieteen tila -yhteenvetoja, joissa julkaisumetriikkaa on avattu lähestyttävämmin kuin Vipusessa. Jatkossa nämä tarkastelut ilmestyvät vuosittain.  

Suomalaisten organisaatioiden tarkasteluissa käytetään Top 10% -indikaattoria, joka seuraa viitatuimpien julkaisujen osuutta. Koska näissä tarkasteluissa käytetään Web of Sciencen julkaisudataa, tarkastelut eivät ole yhtä kattavia kaikilla aloilla. Jatkossa Tieteen tilaa on tarkoitus täydentää Julkaisufoorumiluokitukseen pohjautuvilla laatutarkasteluilla. 

Yleiskatsauksia pohjoismaisten organisaatioiden tutkimukseen löytyy NordForskin toimesta laaditusta, muutaman vuoden välein päivittyvästä katsauksesta. Se koostetaan pohjoismaisten tahojen yhteistyönä. Uusin katsaus Comparing Research at Nordic Higher Education Institutions Using Bibliometric Indicators ulottuu vuoteen 2014. 

OECD seuraa eri maiden bibliometrisiä STI-indikaattoreita (Science, Technology & Innovation) maatasolla.  

Yliopistorankingit 

Julkaisutarkasteluja alettiin käyttää kansainvälisiin vertailuihin vuoden 2000 tienoilla. Aluksi vertailtiin tutkijoita (Highly Cited Researchers, HCR).  Vuonna 2003 Kiinassa alettiin käyttää mm. HCR-tuloksia ja Web of Sciencen dataa yliopistojen vertailuun. Shanghain Jiao Tong -yliopiston ARWU (Academic Ranking of World Universities) -ranking käyttää monia julkaisumetriikkaan nojautuvia mittareita. ARWU on vahvasti julkaisuihin perustuva ranking. Lisäksi se huomioi organisaation saamat Nobelin palkinnot ja matematiikan Fieldsin mitalit. 

ARWUn lisäksi markkinoille on tullut monenlaisia yliopistovertailuja. Usein niitä tuottavat erilaiset kaupalliset toimijat. Niiden painotukset ja menetelmät vaihtelevat melko paljon. Useimmissa rankingeissa julkaisut muodostavat vain yhden osion, muita pisteitä kertyy monenlaisin kriteerein. Yliopistoilta kerätään rankingissa käytettyjä tunnuslukuja, kun taas osa pisteistä saattaa tulla esimerkiksi mainekyselyistä. Kunkin rankingin tarkempi metodologia kuvaillaan niiden omilla sivuilla. 

ARWUn lisäksi paljon seurattuja kansainvälisiä rankingeja ovat mm. Scopus-tietokannan dataa julkaisujen tarkasteluun hyödyntävät Times Higher Education (THE) ja QS-rankingit sekä Web of Sciencen dataa käyttävät US News ja NTU -rankingit. Jälkimmäisissä julkaisutarkastelujen osuus on ollut suurempi. Lisäksi puhtaasti bibliometrisiin aineistoihin pohjautuvia rankingeja edustavat Taiwanin kansallisen yliopiston NTU-ranking ja hollantilainen Leidenin yliopiston CWTS-ranking. 

Huolimatta rankingien erilaisista ongelmista, yliopistot seuraavat rankingeja tarkasti ja uutisoivat omista sijoituksistaan, varsinkin jos sijoitukset ovat hyviä. Markkinoille on tullut tieteenalakohtaisia rankingeja ja erilaisista näkökulmista (ikä, kestävä kehitys, sijainti, jne.) tehtyjä rankingeja. Niissä on omia arviointikriteerejään, ja moni organisaatio saa usein yleisrankingia korkeampia sijoituksia.