How are universities and research institutions analysed?

Overall evaluations of university research 

Publication metrics have become an established part of evaluating research at universities and organisations. Scholarly publications provide some insight into the activities and impact of the units under review.  

Publication analysis require the extraction of publications belonging to each unit under review, usually from the organisation’s own publication database for the period selected for the review. It is advisable to invest in maintaining the quality and coverage of the data in the publication database at an early stage, as adding new publications only at the evaluation stage can delay and complicate the evaluation process. 

JBibliometric analysis and other publication statistics are usually compiled on publications. The time window for publication reviews should be chosen so that there has been time for a comprehensive number of publications and citations to accumulate in the last review year.

In bibliometric reviews of universities, it is common to use an external provider for the analysis. In Europe, the most commonly used evaluation provider is Leiden University’s research organisation CWTS B.V. The analyses are usually based on the Web of Science database, which covers incompletely some field of science, like social sciences, humanities, computer science and engineering. It will therefore have to be decided whether to apply the same analysis principles to all, or whether to exclude some evaluation units from the consistent citation analysis and, in the case of the latter, whether to carry out parallel analyses for them. Often the latter will be done by the publication metrics experts in the organisation itself, in consultation with the unit being evaluated. 

The publication statistics section is usually carried out in accordance with the levels of Publication Forum classification. In such cases, it is worth taking into account the most significant changes in the Ministry of Education and Culture’s publication reporting and in the Publication Forum’s own practices during the review period. 

Publications can be selected for analysis using a retrospective analysis, which includes all publications of the unit in the analysis period. In prospective analysis, publications are limited to those by authors who are employed by the unit at the time specified in the analysis. In this case, the publications must be selected by person.  Other approaches may include career path analysis, but these require efficient and often laborious use of the organisations’ information systems. 

Examination of collaboration between organisations 

Collaboration analysis are often carried out as a background to meetings between organisations and for the development and orientation of activities. There are traces of collaboration between research organisations when an article is written by authors from different organisations. Bibliometric analysis can therefore be used as a tool to map out the collaboration between organisations. This can be useful for purposes such as reporting on activities and planning research collaboration. 

Actual bibliometric databases (e.g. Web of Science and Scopus) provide indicators of the publishing activities of organisations. The selection of co-publications can be limited by affiliations. Databases usually have only one classification of a field of science available.

Usually, impact analysis tools such as InCites and SciVal are used for the analysis. In these tools, publication metadata is processed in such a way that the different subjects (affiliations, publications, etc.) are clearly defined and the most relevant classification of a field of science can be selected for the analysis in each case. The aim is generally to include comparisons with world averages and to highlight the key common research areas of organisations.

In collaboration analysis, attention should be paid to hyper collaborations that may involve researchers from dozens or hundreds of different countries. These publications often have a very high impact, but their inclusion in the analysis can create a skewed perception of the collaboration between organisations.  

Another factor to consider is changes in the organisation, such as mergers with other organisations, which may affect the definition of the subjects of the evaluation. 

Verrokkiyliopistojen ja -organisaatioiden määrittäminen 

Verrokeiksi valitaan organisaatioita, jotka ovat kooltaan, tutkimusprofiililtaan ja tutkimusaiheiltaan riittävän samankaltaisia tarkasteltavilla tieteenaloilla. Näin organisaatioiden bibliometrisiä indikaattoreita voidaan riittävän luotettavasti verrata toisiinsa.  

Julkaisujen osalta vertailtavia julkaisuja tulee olla riittävästi. Tarkasteltavan tutkimusjulkaisudatan tulee olla riittävän koherenttia – eli tutkimustoiminnan tulee olla riittävän kohdennettua tutkittaviin aiheisiin. Tarkempaa tietoa tutkimusaiheista saadaan tarvittaessa klusteritarkasteluilla. 

Yleensä sama verrokki ei sovellu organisaation kaikkien tieteenalojen verrokiksi, vaan verrokit valitaan tieteenaloittain. 

Kansalliset ja kansainväliset katsaukset 

Suomalaiset yliopistot, korkeakoulut ja tutkimuslaitokset raportoivat julkaisujaan Opetus- ja kulttuuriministeriölle. Opetushallinnon Vipunen-tilastopalvelusta löytyy paitsi raportoituja tietoja, myös Web of Science ja Scopus-pohjaisia pitkän aikavälin analyyseja. CSC:llä on käytössään dataa, joka mahdollistaa mm. yhteistyössä laadittujen julkaisujen osittamisen eri organisaatioille. 
 
Suomen Akatemia on julkaissut 2012 lähtien kahden vuoden välein Tieteen tila -yhteenvetoja, joissa julkaisumetriikkaa on avattu lähestyttävämmin kuin Vipusessa. Jatkossa nämä tarkastelut ilmestyvät vuosittain.  

Suomalaisten organisaatioiden tarkasteluissa käytetään Top 10% -indikaattoria, joka seuraa viitatuimpien julkaisujen osuutta. Koska näissä tarkasteluissa käytetään Web of Sciencen julkaisudataa, tarkastelut eivät ole yhtä kattavia kaikilla aloilla. Jatkossa Tieteen tilaa on tarkoitus täydentää Julkaisufoorumiluokitukseen pohjautuvilla laatutarkasteluilla. 

Yleiskatsauksia pohjoismaisten organisaatioiden tutkimukseen löytyy NordForskin toimesta laaditusta, muutaman vuoden välein päivittyvästä katsauksesta. Se koostetaan pohjoismaisten tahojen yhteistyönä. Uusin katsaus Comparing Research at Nordic Higher Education Institutions Using Bibliometric Indicators ulottuu vuoteen 2014. 

OECD seuraa eri maiden bibliometrisiä STI-indikaattoreita (Science, Technology & Innovation) maatasolla.  

Yliopistorankingit 

Julkaisutarkasteluja alettiin käyttää kansainvälisiin vertailuihin vuoden 2000 tienoilla. Aluksi vertailtiin tutkijoita (Highly Cited Researchers, HCR).  Vuonna 2003 Kiinassa alettiin käyttää mm. HCR-tuloksia ja Web of Sciencen dataa yliopistojen vertailuun. Shanghain Jiao Tong -yliopiston ARWU (Academic Ranking of World Universities) -ranking käyttää monia julkaisumetriikkaan nojautuvia mittareita. ARWU on vahvasti julkaisuihin perustuva ranking. Lisäksi se huomioi organisaation saamat Nobelin palkinnot ja matematiikan Fieldsin mitalit. 

ARWUn lisäksi markkinoille on tullut monenlaisia yliopistovertailuja. Usein niitä tuottavat erilaiset kaupalliset toimijat. Niiden painotukset ja menetelmät vaihtelevat melko paljon. Useimmissa rankingeissa julkaisut muodostavat vain yhden osion, muita pisteitä kertyy monenlaisin kriteerein. Yliopistoilta kerätään rankingissa käytettyjä tunnuslukuja, kun taas osa pisteistä saattaa tulla esimerkiksi mainekyselyistä. Kunkin rankingin tarkempi metodologia kuvaillaan niiden omilla sivuilla. 

ARWUn lisäksi paljon seurattuja kansainvälisiä rankingeja ovat mm. Scopus-tietokannan dataa julkaisujen tarkasteluun hyödyntävät Times Higher Education (THE) ja QS-rankingit sekä Web of Sciencen dataa käyttävät US News ja NTU -rankingit. Jälkimmäisissä julkaisutarkastelujen osuus on ollut suurempi. Lisäksi puhtaasti bibliometrisiin aineistoihin pohjautuvia rankingeja edustavat Taiwanin kansallisen yliopiston NTU-ranking ja hollantilainen Leidenin yliopiston CWTS-ranking. 

Huolimatta rankingien erilaisista ongelmista, yliopistot seuraavat rankingeja tarkasti ja uutisoivat omista sijoituksistaan, varsinkin jos sijoitukset ovat hyviä. Markkinoille on tullut tieteenalakohtaisia rankingeja ja erilaisista näkökulmista (ikä, kestävä kehitys, sijainti, jne.) tehtyjä rankingeja. Niissä on omia arviointikriteerejään, ja moni organisaatio saa usein yleisrankingia korkeampia sijoituksia.