Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

Tutkijoiden arvioinnista on ilmestynyt viime vuosina sekä kansallisia että kansainvälisiä suosituksia, joissa korostetaan laadullisen arvioinnin ensisijaisuutta. Vastuullisen tutkijanarvioinnin periaatteiden mukaisesti julkaisumetriikkaa voidaan käyttää arvioinnissa ainoastaan laadullisen arvioinnin tukena.

Mikäli arvioinnissa käytetään julkaisumetriikan indikaattoreita, on tärkeää pohtia indikaattoreiden vastuullisuutta ja sopivuutta esimerkiksi luvussa Indikaattoreita esitettyjen kysymysten avulla:

  • Antavatko valitut indikaattorit arvioinnin kannalta tarpeellista tietoa?
  • Ottaako indikaattori huomioon tieteenalojen väliset erot?
  • Keitä valitut indikaattorit saattavat syrjiä?
  • Perustuuko indikaattori arvioinnin kohteen kannalta relevanttiin dataan?

Useimmat indikaattorit kuvaavat tutkijan tai tutkimusryhmän julkaisutoiminnan yhtä ominaisuutta tietystä näkökulmasta. Usean eri indikaattorin käyttö on suositeltavaa, jotta julkaisutoiminnasta saadaan monipuolisesti tietoa. Toisaalta jokaisen käytetyn indikaattorin valinta pitää pystyä perustelemaan arvioinnin tarpeiden näkökulmasta. Analyysin tulosten lisäksi tulee raportoida myös indikaattoreiden tulkinnan kannalta oleelliset taustatiedot. 

Tutkijoiden ja tutkimusryhmien julkaisutoiminnan arvioinnissa käytetyimmät mittarit perustuvat julkaisujen määrään ja niiden saamien viittausten määrään. Julkaisutoimintaa voidaan tarkastella myös yhteistyön ja avoimuuden näkökulmasta: miten suuri osa tutkijan tai tutkimusryhmän julkaisuista on tehty yhteistyössä tai on saatavilla avoimesti.  Altmetriikan mittareiden avulla voidaan saada tietoa julkaisujen saamasta näkyvyydestä sosiaalisessa mediassa ja uutispalveluissa.


Tutkijoiden ja tutkimusryhmien julkaisujen tunnistaminen

Tutkijan tai tutkimusryhmän julkaisuaktiivisuutta tarkastellaan julkaisulistan avulla, mikäli sellainen on käytettävissä.  Usein julkaisulistaa ei ole saatavissa ja tällöin julkaisut on paikannettava käytössä olevista tietokannoista ja tiedonlähteistä.  Kun paikannetaan tutkijoiden julkaisuja tietokannoista, on pyrittävä varmistamaan, että löydetään kyseisen tutkijan julkaisut mahdollisimman kattavasti, eikä hakutulos sisällä muiden samannimisten tutkijoiden julkaisuja.

Tutkijoiden ja julkaisujen tunnistamista tietokannasta voivat haitata nimiin liittyvät epäselvyydet: nimenmuutokset, samannimiset henkilöt ja nimien erilaiset kirjoitusasut. Tutkijatunnisteet helpottavat tutkijoiden ja heidän julkaisujensa tunnistamista ja julkaisujen saamien viittausten seuraamista. Tunnistetta ei välttämättä kuitenkaan ole kaikissa tutkijan julkaisuissa ja tietokannoissa voi myös aina olla virheitä: julkaisuihin on saatettu yhdistää virheellinen tutkijatunniste.  Suomessa suositellaan käytettäväksi kansainvälistä tutkijatunnistetta, ORCIDia. ORCID on pysyvä, henkilökohtainen digitaalinen tunniste. Lue lisää tutkijan tunnistamisesta luvusta Tekijyys

Tietokannan tai tiedonlähteen valinnassa on huomioitava tietokannan soveltuvuus kyseiseen tarkasteluun. Kansainväliset tietokannat eivät sisällä tutkijan julkaisuja kattavasti varsinkaan aloilla, joilla julkaistaan muilla kielillä kuin englanniksi. Yliopistojen tutkimustietokannat puolestaan sisältävät kattavasti eri kielisiä ja tyyppisiä julkaisuja, mutta ne keskittyvät vain tietyssä yliopistossa tehtyyn tutkimukseen.

Lue lisää viittaus- ja julkaisutiedonlähteistä luvuista:
Käytetyimpiä monitieteisiä viittaustiedonlähteitä
Kansallisia julkaisutiedonlähteitä

Julkaisujen lukumäärät

Julkaisujen lukumääriä tarkasteltaessa on syytä huomioida tieteenalojen erilaiset julkaisukäytännöt esimerkiksi käytetyimpien julkaisutyyppien ja yhteiskirjoittamisen suhteen.  Niillä tieteenaloilla, joilla tutkimustyötä tehdään paljon ryhmissä, voi olla järkevää tarkastella mieluummin ryhmää kuin yksittäisiä tutkijoita.

Tieteenalojen erilaisten käytäntöjen lisäksi julkaisujen lukumäärään vaikuttaa käytettävissä olevat resurssit, kuten tutkijaryhmän tutkijoiden lukumäärä ja saatu rahoitus. Julkaisujen lukumäärään vaikuttaa myös tutkijoiden erilaiset urapolut esim. vanhempainvapaat ja katkot tutkijanurassa.

Lue lisää julkaisujen lukumäärästä ja indikaattorien vastuullisesta käytöstä Tuottavuusindikaattoreita-luvusta.

Viittaukset

Julkaisuun tehtyjen viittausten määrä kertoo siitä, kuinka paljon sitä on hyödynnetty ilmestymisensä jälkeen tehdyssä tutkimuksessa. Viittausten voidaan ajatella kertovan julkaisussa esitetyn tutkimuksen hyödyllisyydestä tiedeyhteisölle, ja siten sen tieteellisestä vaikuttavuudesta. Viittausmääriä tarkasteltaessa on huomioitava, että tieteenaloilla on erilaiset julkaisu- ja viittauskäytännöt.  Viittausmäärät riippuvat myös julkaisujen ilmestymisajankohdasta ja käytetystä tiedonlähteestä.

Tärkeimmät viittaustietoja sisältävät tiedonlähteet ovat monitieteelliset Web of Science (WoS), Scopus, Dimensions ja Google Scholar. Viittausten määrää tutkittaessa kannattaa tarkastella useampaa tiedonlähdettä.

Viittausten ja viittaustietoihin perustuvien indikaattoreiden laskennassa voidaan huomioida arvot itseviittausten kanssa tai ilman niitä. Etenkin suurilla, paljon julkaisevilla tutkimusryhmillä sisäisten viittausten lukumäärä voi olla suuri.

Lisätietoa viittauksista löytyy Viittaukset- ja Viittausten lukumäärä -luvuista.

Vaikuttavuusindikaattorit

Viittausvaikuttavuusindikaattorit

Tutkijoita ja tutkimusryhmiä tarkasteltaessa on mahdollista käyttää luvussa Viittausvaikuttavuusindikaattoreita kuvailtuja indikaattoreita.

Viittausvaikuttavuusindikaattoreita käytettäessä on huomioitava viittausten riittävä aikaikkuna ja tarpeeksi suuri julkaisujen määrä.  Hyvin pienistä julkaisu- ja viittausmääristä ei ole välttämättä mielekästä laskea indikaattoreita.  Pienistä julkaisu- ja viittausmääristä lasketut indikaattorit ovat myös herkempiä erilaisille häiriöille, kuten puutteille datan kattavuudessa. Luvussa ”Metodologisia näkökulmia” kerrotaan tarkemmin viittausten aikaikkunasta ja indikaattorien häiriöalttiudesta.

H-indeksi on hyvin paljon käytetty ja erittäin tunnettu indikaattori. H-indeksi pyrkii kuvaamaan tutkijan tuottavuutta (julkaisujen lukumäärä) ja julkaisujen vaikuttavuutta (viittausten lukumäärä).  Sen käyttöön liittyy kuitenkin paljon ongelmia ja rajoitteita.  Lue h-indeksin ja viittausvaikuttavuusindikaattorien vastuullisesta käytöstä Indikaattoreita- ja h-indeksi-luvuista.

Tutkimusyhteistyö ja -verkostot

Yksi näkökulma tutkijan tai tutkimusryhmän julkaisutoiminnan tarkasteluun on selvittää tehtyä tutkimusyhteistyötä: miten paljon julkaisuja on tuotettu kansainvälisessä, kansallisessa tai organisaation sisäisessä yhteistyössä.  Kansainvälisen yhteistyön suhteen on huomioitava tieteenalojen väliset erot.

Tutkimusyhteistyötä voidaan tarkastella myös organisaatiotyyppien näkökulmasta. Tällöin voidaan tarkastella esimerkiksi kuinka paljon julkaisuja on tuotettu yritysten kanssa yhteistyössä.

Lue lisää yhteistyöindikaattoreista ja ja indikaattorien vastuullisesta käytöstä luvusta Yhteistyöindikaatoreita.

Lehtien arvioinnissa käytettävät indikaattorit

Julkaisufoorumi (JUFO) on tieteellisen julkaisutoiminnan laadunarviointia tukeva julkaisukanavien tasoluokitus. JUFO-luokitus on alun perin tarkoitettu yliopistojen tuottamien suurten julkaisumäärien keskimääräisen laadun arviointiin. Luokitusta ei ole tarkoitettu pienempien julkaisumäärien laadun arviointiin, eikä tutkimusryhmien tai yksittäisten tutkijoiden arviointiin tai vertailuun. Lue lisää JUFO:n käytöstä Julkaisufoorumi-luvusta.

Maailmanlaajuisesti tunnetuin lehtien arviointityökalu on lehden Impact factor (IF). Vastuullisen tutkimuksen arvioinnin mukaisesti myöskään Impact factoreita ei tule käyttää yksittäisen tutkijan tai tutkimusryhmän arvioinnissa.  Lue lisää tieteellisten lehtien arvioinnista ja lehtien arvioinnin indikaattoreista Käytetyimpiä julkaisukanavien arviointityökaluja-luvusta

Avoimuuden indikaattorit

Tutkijan tai tutkijaryhmän julkaisujen avointa saatavuutta on mahdollista tarkastella eri tiedonlähteiden avulla. Useimmat kansainväliset tietokannat sisältävät tiedon julkaisujen avoimuudesta. Tieto julkaisun avoimuudesta on usein saatavissa myös organisaatioiden omista tutkimustietojärjestelmistä. Tietokannoissa on tietoa myös julkaisuiden avoimuuden tyypistä. Tyypit voivat olla  esimerkiksi kultainen OA, pronssi OA ja vihreä OA. Eri lähteiden käyttämät avoimuuden määritelmät voivat erota toisistaan paljon.

Lue lisää julkaisujen avoimuudesta luvuista:

Julkaisujen avoin saatavuus

Avoimen julkaisemisen indikaattoreita

Top-listat

Tutkijoista on tehty myös erilaisia, useimmiten julkaisujen saamien viittausten määrään perustuvia top-listauksia. Vastuullisen julkaisumetriikan näkökulmasta tutkijalistaukset ovat ongelmallisia erityisesti siksi, että ne arvottavat tutkijoita ainoastaan julkaisujen saamien viittausten ja niistä johdettujen indikaattoreiden perusteella.

Top-listoihin päätyvät yleensä vain tuotteliaimmat ja eniten viittauksia saaneet tutkijat niiltä tieteenaloilta, joiden kattavuus Top-listan tekemiseen käytetyssä tiedonlähteessä on hyvä.  Muita tutkijalistausten ongelmia ovat tutkijan julkaisuiden luotettava tunnistaminen ja tieteenalaluokituksiin liittyvät ongelmat. Esimerkki tutkijoiden top-listasta on Highly Cited Researchers. Lista sisältää ainoastaan eri tieteenalojen eniten viitattuja tutkijoita Web of Science -tietokannan sisältämistä julkaisuista.


Lähteet

Hirsch , J.E. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences 102, 16569–16572. https://doi.org/10.1073/pnas.0507655102


Info
titleTutkijoiden ja tutkimusryhmien vastuullinen analysointi

Tutkijoiden arviointia tulee tehdä vastuullisen arvioinnin periaatteiden mukaisesti. Suomessa on julkaistu kaksi kansallista suositusta arvioinnista: 

  • Tutkijanarvioinnin hyvät käytännöt. Vastuullisen tutkijanarvioinnin kansallinen suositus. Suosituksen pääperiaatteita ovat läpinäkyvyys, integriteetti, tasapuolisuus, pätevyys ja monimuotoisuus.

  • Kansallinen suositus julkaisumetriikan vastuullisesta käytöstä. Suosituksen pääperiaatteita ovat:
    1) Julkaisumetriikkaa voidaan käyttää laadullisen asiantuntija-arvioinnin tukena.
    2) Valittujen menetelmien ja mittareiden tulee soveltua arvioinnin kohteeseen ja tarkoitukseen.     
    3) Koko arviointiprosessin tulee olla mahdollisimman avoin ja läpinäkyvä: data, analyysimenetelmät ja tulokset.

Lue lisää: Suomen kansalliset suositukset.

Lisäksi useat suomalaiset yliopistot ovat sitoutuneed DORA-suositukseen, jonka keskeinen periaate on laadullisen arvioinnin ensisijaisuus  ja julkaisukanaviin pohjautuvien metriikoiden käytön välttäminen yksittäisen artikkelin laadun mittaamisen korvikkeena.

Lue lisää: Kansainvälisiä suosituksia.