Miten lehtiä analysoidaan

Subjektiiviset arviointimenetelmät

Asiantuntija-arviot 

Asiantuntemukseen perustuvaa lehtien arviointia käytetään esimerkiksi silloin, kun organisaatiot päättävät lehtitilauksista. Erityisen hyödyllisiä asiantuntija-arviot ovat sellaisten lehtien kohdalla, joiden laatua ei voi arvioida käyttömäärien tai viittauksiin perustuvien indikaattoreiden avulla.

Asiantuntija-arviot ovat työläitä. Vaikka monet tutkijat pystyvät nimeämään oman alansa johtavia lehtiä, on satojen lehtien arviointi jo hyvin vaikeaa. Asiantuntija-arvioon perustuvat lehtilistat ovatkin subjektiivisia ja tietyn lehden saamat arviot voivat vaihdella eri listoissa. Ne antavat kuitenkin tietoa lehden arvostuksesta ja täydentävät tilastotietoihin perustuvia määrällisiä mittareita.

Esimerkkejä lehtien laadullisista arviointijärjestelmistä 

Julkaisufoorumi (JUFO) on tieteellisen julkaisutoiminnan laadunarviointia tukeva julkaisukanavien tasoluokitus. Luokituksessa on pyritty huomioimaan eri tieteenaloille ominaisia julkaisutapoja. JUFOssa kaikkien tieteenalojen keskeiset ulkomaiset ja kotimaiset julkaisukanavat jaotellaan
1 = perustasoon
2 = johtavaan tasoon
3 = korkeimpaan tasoon
0 = kanaviin, jotka eivät täytä tason 1 kriteereitä

Julkaisukanavien arviointityön suorittavat tieteenalakohtaiset asiantuntijapaneelit, joihin kuuluu suomalaisia tai Suomessa työskenteleviä tutkijoita. 

• Lisätietoa Julkaisufoorumista

Kansallisia julkaisukanavien tasoluokituksia on käytössä monissa maissa. JUFO muistuttaa mm. Norjassa ja Tanskassa käytössä olevia luokituksia:
Norwegian Register for Scientific Journals, Series and Publishers
Danish Bibliometric Research Indicator (BFI)

Myös eri tieteenaloilla on olemassa listauksia keskeisimpinä pidetyistä lehdistä. Tällaisia ovat esim. ERIH PLUS (humanistiset ja yhteiskuntatieteelliset alat), Association of Business Schools Academic Journal Quality Guide (ABS) (kauppatieteet) ja Nature Index (luonnontieteet).

Vertaisarviointi 

Lehteen julkaistaviksi tarjottujen käsikirjoitusten vertaisarvioinnin eli referee-käytännön katsotaan kertovan lehden laadusta. Vertaisarvioinnilla pyritään takaamaan, että tutkijat noudattavat omalla alallaan hyväksyttyjä käytäntöjä sekä estämään virheellisten väittämien ja tulkintojen esittäminen. 

Tieto lehden vertaisarviointikäytännöistä kannattaa tarkistaa lehden omilta sivuilta. Myös maksullinen Ulrichsweb-palvelu sisältää tiedon siitä, onko lehti vertaisarvioitu. 

• Lisätietoa vertaisarvioinnista

Lehden maine 

Lehden maine voi perustua sitä julkaisevan organisaation, kustantajan tai päätoimittajan maineeseen. Kustantajan hyvä maine ei kuitenkaan takaa lehden korkeaa laatua. Uusille lehdille kustantajan tunnettuus on toisaalta tärkeä arviointiperuste. 

Jotkut lehdet ovat kansainvälisesti tunnettuja ja arvostettuja laajemminkin kuin vain edustamansa tieteenalan tutkijoiden piirissä. Esimerkkejä tällaisista lehdistä ovat mm. Nature, Science ja JAMA.

Vaikka lehden maine onkin melko pysyvä, vaihtelee se kuitenkin ajan myötä eikä siksi ole kovin hyvä arvioinnin peruste. Lehden hyvä maine otetaan yleensä annettuna, eikä sitä juuri arvioida uudelleen.

Lehteä indeksoivat tietokannat

Lehden näkyvyyttä lisää se, että se indeksoidaan keskeisiin tietokantoihin. Indeksointia esimerkiksi Scopus tai Web of Science –tietokantoihin on pidetty merkkinä luotettavuudesta, koska lehden on täytettävä tietyt kriteerit. Lue lisää tietokantojen valintaperusteista Web of Science-, Scopus-luvuista.

Luonnontieteissä ja lääketieteessä lehden sisältymistä Web of Science –tietokantaan on pidetty meriittinä, koska tietokantaan sisältyvälle lehdelle voidaan laskea Impact Factor (IF) –luku . Impact factor on yksi tunnetuimmista bibliometrisistä indikaattoreista ja sitä on käytetty paljon erilaisiin, myös sille soveltumattomiin käyttötarkoituksiin.  IF-lukuja on myös yritetty manipuloida, esimerkiksi jotkut lehdet pyrkivät nostamaan lukua epäeettisin keinoin. Tämä on mahdollista, koska IF-luvut ottavat huomioon myös itseviittaukset.  Vuosittaisia IF-lukuja laskettaessa saatetaan kiinnittää huomiota lehden poikkeuksellisen suuriin itsesitaatiomääriin  tai viittausten perusteella herää epäily sitaatiokartellista (joukko lehtiä ryhtyy systemaattisesti viittaamaan toisiinsa). Tällaisia lehtiä ei poisteta JCR-tietokannasta, mutta niille ei lasketa uusia IF-lukuja ennen kuin viittauspoikkeamat on selvitetty.

Lue lisää indikaattorien vastuullisesta käytöstä: Lehtien arvioinnissa käytettäviä indikaattoreita.

Maksullisesta Ulrichsweb-tietokannasta voi tarkistaa, mihin tietokantoihin lehti on indeksoitu. 

Määrälliset arviointimenetelmät

Lehtien arviointi määrällisten menetelmien avulla perustuu vaikuttavuuden arviointiin viittaustietojen tai käyttö- tai muiden tilastojen perusteella.

Määrällisten arviointimenetelmien hyviä puolia ovat objektiivisuus ja aineiston helppo saatavuus. Ongelmattomia ne eivät kuitenkaan ole. Niiden tulokset ovat usein vaikeasti tulkittavia, koska ne eivät suoraan mittaa laatua. Aina ei myöskään ole helppoa selvittää, miten eri indikaattorit on laskettu ja millaisiin viittaustietoihin ne perustuvat. Viittaustiedot sisältävät myös monenlaisia virheitä ja niitä voidaan tarkoituksellisesti manipuloida. Lehtien vertailu eri tieteenalojen välillä ei myöskään ole mahdollista, koska eri alojen julkaisu- ja viittauskäytännöt poikkeavat toisistaan. 

Lehtien viittausvaikuttavuusindikaattorit

Lehden laadun arvioiminen siinä julkaistujen artikkeleiden saamien viittausten lukumäärän perusteella perustuu olettamukseen, että sellaiset artikkelit, joihin viitataan usein, sisältävät tieteenalallaan merkittävää tietoa. Viittausten avulla laskettu lehden viittausvaikuttavuusindikaattori voidaan laskea vasta vuosien kuluttua lehden julkaisemisesta, koska viittaukset tulevat myöhemmin julkaistuista artikkeleista. On hyvä huomioida, että lehtien viittausmääriin vaikuttavat myös lehden vuosikertojen määrä, tieteenalan viittauskäytännöt sekä lehden tyyppi.  Laaja-alaiset, katsausartikkeleita julkaisevat lehden keräävät yleensä enemmän viittauksia kuin erikoistuneet, niukemman julkaisumäärän lehdet.

Lehtikohtaiset viittausvaikuttavuusindikaattorit ovat aina jonkinlaisia keskiarvoja niissä julkaistujen artikkelien viittausvaikuttavuudesta.

Lehtien arvioinnissa voidaan käyttää eri tavoin laskettuja viittausvaikuttavuusindikaattoreita. Kaikki indikaattorit lasketaan tietystä lehtijoukosta, esimerkiksi Scopus tai Web of Science –tietokannan sisältämistä lehdistä.  Tämä vaikeuttaa eri indikaattoreiden keskinäistä vertailua, koska ne poikkeavat toisistaan paitsi indikaattorin laskutavan, myös pohjana käytettävän tietokannan lehti- ja viittausaineiston mukaan. On myös huomioitava, että eri tieteenalojen lehtiä sisältyy vaihtelevasti eri tietokantoihin. Viittausmääriin perustuvat indikaattorit ovat yleensä käyttökelpoisia aloilla,  joissa tutkimusta julkaistaan pääsääntöisesti  kansainvälisissä tieteellisissä sarjoissa ja viittauskäytänteet ovat vakiintuneita. Paljon monografia-aineistoja ja/tai pienten kielialueiden kielillä julkaisevilla aloilla indikaattorit eivät ole käyttökelpoisia. 

Osa indikaattoreista perustuu yksinkertaisiin laskukaavoihin, osa taas monimutkaisiin algoritmeihin. Uusia indikaattoreita kehitetään jatkuvasti ja olemassa olevista indikaattoreista tulee uusia muunnelmia. 

Eri indikaattorit vaihtelevat sen mukaan, kuinka pitkän aikavälin kuluessa viittauksia tarkastellaan ja mitkä viittaukset lasketaan mukaan. Myös artikkelien kokonaislukumäärän laskeminen vaihtelee, joissakin indikaattoreissa huomioidaan kaikki lehdessä julkaistut artikkelityypit, joissakin vain tietyntyyppiset artikkelit. Eri indikaattorit poikkeavat toisistaan myös sen mukaan, ovatko kaikki viittaukset laskennassa keskenään samanarvoisia vai eivät.

•    Lisätietoa indikaattoreista

Lehden käyttötilastot ja artikkelien hyväksymis- tai hylkäysprosentti

Lehtiä voidaan arvioida myös käytön perusteella. Useista lehdistä on mahdollista saada tietoa esim. lehden artikkelien latausmääristä ja linkityksistä. 

Tieteellisiä lehtiä luetaan paitsi oman tutkimuksen tarpeisiin, myös pelkästä mielenkiinnosta ja halusta seurata tieteen kehitystä. Tieteellisiä lehtiä lukevat myös sellaiset henkilöt, jotka eivät itse julkaise niissä. Siksi lehtien lukemisen tarkastelu voisi antaa niiden asemasta erilaista tietoa kuin niiden saamien viittausten tarkastelu.

Lehtiä, joihin tarjotaan paljon käsikirjoituksia ja joilla on korkea hylkäysprosentti, pidetään tasokkaina. Lehdet ilmoittavat usein käsikirjoitusten hyväksymis- tai hylkäysprosentteja. Nämä luvut ovat kuitenkin melko epäluotettavia lehtien keskinäistä vertailua varten, koska niiden laskutavat vaihtelevat eri lehdissä.

Lehdet hylkäävät käsikirjoituksia myös muista syistä kuin tieteellisten heikkouksien vuoksi, mm. siksi, etteivät ne ole lehden aihepiiriin sopivia. Hyväksymisprosentit ja hylkäämisen syyt vaihtelevat suuresti eri alojen ja jopa saman alan eri lehtien välillä. Hylkäysprosentit eivät myöskään ole pysyviä, vaan voivat vaihdella melko nopeastikin.

Työkaluja lehtien arviointiin 

Oppaan Tiedonlähteet ja työkalut -luvussa on esitelty keskeisimmät työkalut lehtien arviointiin.

Listat lehtien luotettavuudesta/epäluotettavuudesta

Erilaisia luotettavien tai epäluotettavien lehtien listauksia käytettäessä on hyvä muistaa, että ne eivät ole aina ajantasaisia – jos tiettyä lehteä ei löydy saalistajalehtilistalta, se ei vielä tarkoita, että lehti olisi luotettava. On hyvä tarkistaa lehden tiedot mahdollisimman monesta eri lähteestä. 

Julkaisufoorumiluokitusta voi käyttää myös lehtien luotettavuuden tarkistamiseen: jos lehti on otettu mukaan tasoille 1-3, on sen luotettavuus todettu asiantuntijapaneelin toimesta. Taso 0 on monitulkintainen: lehti voi olla ei-tieteellinen ja jopa saalistajalehti, mutta yhtä hyvin voi kyseessä olla luotettava tiedejulkaisu, joka on esim. niin uusi, ettei se ole vielä vakiinnuttanut asemaansa. Lisää 0-tason monitulkintaisuudesta

Lehtien luotettavuuden tarkistamiseen voi käyttää myös seuraavia listauksia:

•    Scholarly Open Access
Ilmainen Scholarly Open Access-palvelu ylläpitää listoja tieteellisesti kyseenalaisista open access -lehdistä ja kustantajista.

•    Cabell's Journalytics ja Predatory Reports
Cabell’s kustantamon maksulliset tietokannat. Journalytics –kanta listaa luotettavina pidettyjä lehtiä, Predatory Reports –kantaan on kerätty tietoa mahdollisista saalistajalehdistä.