Miten lehtiä

analysoidaan

Subjektiiviset arviointimenetelmät

Asiantuntija-arviot 

Asiantuntemukseen perustuvaa lehtien arviointia käytetään esimerkiksi silloin, kun organisaatiot päättävät lehtitilauksista. Erityisen hyödyllisiä asiantuntija-arviot ovat sellaisten lehtien kohdalla, joiden laatua ei voi arvioida käyttömäärien tai viittauksiin perustuvien indikaattoreiden avulla.

Asiantuntija-arviot ovat työläitä. Vaikka monet tutkijat pystyvät nimeämään oman alansa johtavia lehtiä, on satojen lehtien arviointi jo hyvin vaikeaa. Asiantuntija-arvioon perustuvat lehtilistat ovatkin subjektiivisia ja tietyn lehden saamat arviot voivat vaihdella eri listoissa. Ne antavat kuitenkin tietoa lehden arvostuksesta ja täydentävät tilastotietoihin perustuvia määrällisiä mittareita.

Esimerkkejä lehtien laadullisista arviointijärjestelmistä 

Julkaisufoorumi (JUFO) on tieteellisen julkaisutoiminnan laadunarviointia tukeva julkaisukanavien tasoluokitus. Luokituksessa on pyritty huomioimaan eri tieteenaloille ominaisia julkaisutapoja. JUFOssa kaikkien tieteenalojen keskeiset ulkomaiset ja kotimaiset julkaisukanavat jaotellaan
1 = perustasoon
2 = johtavaan tasoon
3 = korkeimpaan tasoon
0 = kanaviin, jotka eivät täytä tason 1 kriteereitä

Julkaisukanavien arviointityön suorittavat tieteenalakohtaiset asiantuntijapaneelit, joihin kuuluu suomalaisia tai Suomessa työskenteleviä tutkijoita. 

• Lisätietoa Julkaisufoorumista

Kansallisia julkaisukanavien tasoluokituksia on käytössä monissa maissa. JUFO muistuttaa mm. Norjassa ja Tanskassa käytössä olevia luokituksia:
Norwegian Register for Scientific Journals, Series and Publishers
Danish Bibliometric Research Indicator (BFI)

Myös eri tieteenaloilla on olemassa listauksia keskeisimpinä pidetyistä lehdistä. Tällaisia ovat esim. ERIH PLUS (humanistiset ja yhteiskuntatieteelliset alat), Association of Business Schools Academic Journal Quality Guide (ABS) (kauppatieteet) ja Nature Index (luonnontieteet).

Vertaisarviointi 

Lehteen julkaistaviksi tarjottujen käsikirjoitusten vertaisarvioinnin eli referee-käytännön katsotaan kertovan lehden laadusta. Vertaisarvioinnilla pyritään takaamaan, että tutkijat noudattavat omalla alallaan hyväksyttyjä käytäntöjä sekä estämään virheellisten väittämien ja tulkintojen esittäminen. 

Tieto lehden vertaisarviointikäytännöistä kannattaa tarkistaa lehden omilta sivuilta. Myös maksullinen Ulrichsweb-palvelu sisältää tiedon siitä, onko lehti vertaisarvioitu. 

• Lisätietoa vertaisarvioinnista

Lehden maine 

Lehden maine voi perustua sitä julkaisevan organisaation, kustantajan tai päätoimittajan maineeseen. Kustantajan hyvä maine ei kuitenkaan takaa lehden korkeaa laatua. Uusille lehdille kustantajan tunnettuus on toisaalta tärkeä arviointiperuste. 

Jotkut lehdet ovat kansainvälisesti tunnettuja ja arvostettuja laajemminkin kuin vain edustamansa tieteenalan tutkijoiden piirissä. Esimerkkejä tällaisista lehdistä ovat mm. Nature, Science ja JAMA.

Vaikka lehden maine onkin melko pysyvä, vaihtelee se kuitenkin ajan myötä eikä siksi ole kovin hyvä arvioinnin peruste. Lehden hyvä maine otetaan yleensä annettuna, eikä sitä juuri arvioida uudelleen.

Lehteä indeksoivat tietokannat

Lehden näkyvyyttä lisää se, että se indeksoidaan keskeisiin tietokantoihin. Indeksointia esimerkiksi Scopus tai Web of Science –tietokantoihin on pidetty merkkinä luotettavuudesta, koska lehden on täytettävä tietyt kriteerit.

Lue lisää tietokantojen valintaperusteista Web of Science

Maksullisesta Ulrichsweb-tietokannasta voi tarkistaa, mihin tietokantoihin lehti on indeksoitu. , Scopus-luvuista.

Luonnontieteissä ja lääketieteessä lehden sisältymistä Erityisesti Web of Science –tietokantaan sisältymistä on pidetty lehdelle meriittinä, koska vain ko. tietokantaan sisältyvälle lehdelle voidaan laskea Impact Factor (IF) –luku . IF–luvut lasketaan kerran vuodessa ja ne löytyvät maksullisesta Journal Citation Reports –tietokannasta. On havaittu, että jo IF –luvun saaminen lisää lehden saamaa huomiota ja siihen tarjottujen artikkelien määrää.Impact factor on yksi tunnetuimmista bibliometrisistä indikaattoreista ja sitä on käytetty paljon erilaisiin, myös sille soveltumattomiin käyttötarkoituksiin.  IF-lukuja on myös yritetty manipuloida, esimerkiksi jotkut lehdet pyrkivät nostamaan lukua epäeettisin keinoin. Tämä on mahdollista, koska IF-luvut ottavat huomioon myös itseviittaukset.  Vuosittaisia IF-lukuja laskettaessa saatetaan kiinnittää huomiota lehden poikkeuksellisen suuriin itsesitaatiomääriin  tai viittausten perusteella herää epäily sitaatiokartellista (joukko lehtiä ryhtyy systemaattisesti viittaamaan toisiinsa). Tällaisia lehtiä ei poisteta JCR-tietokannasta, mutta niille ei lasketa uusia IF-lukuja ennen kuin viittauspoikkeamat on selvitetty.

Lue lisää indikaattorien vastuullisesta käytöstä: Lehtien arvioinnissa käytettäviä indikaattoreita.

Maksullisesta Ulrichsweb-tietokannasta voi tarkistaa, mihin tietokantoihin lehti on indeksoitu. 

Määrälliset arviointimenetelmät

Lehtien arviointi määrällisten menetelmien avulla perustuu vaikuttavuuden arviointiin viittaustietojen tai käyttö- tai muiden tilastojen perusteella.

Määrällisten arviointimenetelmien hyviä puolia ovat objektiivisuus ja aineiston helppo saatavuus. Ongelmattomia ne eivät kuitenkaan ole. Niiden tulokset ovat usein vaikeasti tulkittavia, koska ne eivät suoraan mittaa laatua. Aina ei myöskään ole helppoa selvittää, miten eri indikaattorit on laskettu ja millaisiin viittaustietoihin ne perustuvat. Viittaustiedot sisältävät myös monenlaisia virheitä ja niitä voidaan tarkoituksellisesti manipuloida. Lehtien vertailu eri tieteenalojen välillä ei myöskään ole mahdollista, koska eri alojen julkaisu- ja viittauskäytännöt poikkeavat toisistaan. 

Lehtien

viittausvaikuttavuusindikaattorit

Lehden laadun arvioiminen siinä julkaistujen artikkeleiden saamien viittausten lukumäärän perusteella perustuu olettamukseen, että sellaiset artikkelit, joihin viitataan usein, sisältävät tieteenalallaan merkittävää tietoa. Viittausten avulla laskettu lehden vaikuttavuusindikaattori viittausvaikuttavuusindikaattori voidaan laskea vasta vuosien kuluttua lehden julkaisemisesta, koska viittaukset tulevat myöhemmin julkaistuista artikkeleista. On hyvä huomioida, että lehtien viittausmääriin vaikuttavat myös lehden vuosikertojen määrä, tieteenalan viittauskäytännöt sekä lehden tyyppi.  Laaja-alaiset, katsausartikkeleita julkaisevat lehden keräävät yleensä enemmän viittauksia kuin erikoistuneet, niukemman julkaisumäärän lehdet.

Lehtikohtaiset vaikuttavuusindikaattorit viittausvaikuttavuusindikaattorit ovat aina jonkinlaisia keskiarvoja niissä julkaistujen artikkelien vaikuttavuudestaviittausvaikuttavuudesta.

Lehtien arvioinnissa voidaan käyttää eri tavoin laskettuja vaikuttavuusindikaattoreitaviittausvaikuttavuusindikaattoreita. Kaikki indikaattorit lasketaan tietystä lehtijoukosta, esimerkiksi Scopus tai Web of Science –tietokannan sisältämistä lehdistä.  Tämä vaikeuttaa eri indikaattoreiden keskinäistä vertailua, koska ne poikkeavat toisistaan paitsi indikaattorin laskutavan, myös pohjana käytettävän tietokannan lehti- ja viittausaineiston mukaan. On myös huomioitava, että eri tieteenalojen lehtiä sisältyy vaihtelevasti eri tietokantoihin. Viittausmääriin perustuvat indikaattorit ovat yleensä käyttökelpoisia aloilla,  joissa tutkimusta julkaistaan pääsääntöisesti  kansainvälisissä tieteellisissä sarjoissa ja viittauskäytänteet ovat vakiintuneita. Paljon monografia-aineistoja ja/tai pienten kielialueiden kielillä julkaisevilla aloilla indikaattorit eivät ole käyttökelpoisia. 

Osa indikaattoreista perustuu yksinkertaisiin laskukaavoihin, osa taas monimutkaisiin algoritmeihin. Uusia indikaattoreita kehitetään jatkuvasti ja olemassa olevista indikaattoreista tulee uusia muunnelmia. 

Eri indikaattorit vaihtelevat sen mukaan, kuinka pitkän aikavälin kuluessa viittauksia tarkastellaan ja mitkä viittaukset lasketaan mukaan. Myös artikkelien kokonaislukumäärän laskeminen vaihtelee, joissakin indikaattoreissa lasketaan huomioidaan kaikki lehdessä julkaistut artikkelityypit, joissakin vain tietyntyyppiset artikkelit. Eri indikaattorit poikkeavat toisistaan myös sen mukaan, ovatko kaikki viittaukset laskennassa keskenään samanarvoisia vai eivät.Indikaattorit mittaavat tutkimuksen vaikuttavuutta viittausten kautta. Vaikuttavuus ei kuitenkaan aina merkitse samaa kuin tutkimuksen laatu.

•    Lisätietoa indikaattoreista

Lehden käyttötilastot ja artikkelien hyväksymis- tai hylkäysprosentti

Lehtiä voidaan arvioida myös käytön perusteella. Useista lehdistä on mahdollista saada tietoa esim. lehden artikkelien latausmääristä ja linkityksistä. 

Tieteellisiä lehtiä luetaan paitsi oman tutkimuksen tarpeisiin, myös pelkästä mielenkiinnosta ja halusta seurata tieteen kehitystä. Tieteellisiä lehtiä lukevat myös sellaiset henkilöt, jotka eivät itse julkaise niissä. Siksi lehtien lukemisen tarkastelu voisi antaa niiden asemasta erilaista tietoa kuin niiden saamien viittausten tarkastelu.

Lehtiä, joihin tarjotaan paljon käsikirjoituksia ja joilla on korkea hylkäysprosentti, pidetään tasokkaina. Lehdet ilmoittavat usein käsikirjoitusten hyväksymis- tai hylkäysprosentteja. Nämä luvut ovat kuitenkin melko epäluotettavia lehtien keskinäistä vertailua varten, koska niiden laskutavat vaihtelevat eri lehdissä.

Lehdet hylkäävät käsikirjoituksia myös muista syistä kuin tieteellisten heikkouksien vuoksi, mm. siksi, etteivät ne ole lehden aihepiiriin sopivia. Hyväksymisprosentit ja hylkäämisen syyt vaihtelevat suuresti eri alojen ja jopa saman alan eri lehtien välillä. Hylkäysprosentit eivät myöskään ole pysyviä, vaan voivat vaihdella melko nopeastikin.

Työkaluja lehtien arviointiin 

 
Julkaisufoorumi (JUFO) on tieteellisten julkaisukanavien laadullinen, asiantuntija-arviointiin perustuva arviointijärjestelmä. JUFO on tarkoitettu suurten julkaisumäärien arvioinnin välineeksi: esimerkiksi kokonaisten tutkimusorganisaatioiden, tutkimusalojen tai maiden tarkasteluun. Mikäli JUFOa käytetään yksittäisen tutkijan tai tutkimusryhmän julkaisujen arvioimiseen, on sen rajoitteet otettava huomioon, ks. Julkaisufoorumiluokituksen käyttöohje

Jos lehti on hyväksytty JUFOon, on asiantuntijapaneeli pitänyt sitä luotettavana ja suositeltavana julkaisukanavana. Toisaalta siitä, että lehteä ei ole otettu mukaan JUFOon ei voi vetää johtopäätöstä lehden laadusta: vertaisarvioitu lehti voi olla esimerkiksi niin uusi, että sen asema ei ole vielä riittävästi vakiintunut. Myöskään lehden JUFO-tasosta (1-3) ei tule tehdä suoraviivaisia tulkintoja: esimerkiksi tasoluokkiin 2 ja 3 asetetut kiintiöt vaikuttavat lehden laadun lisäksi siihen, mille JUFO-tasolle lehti asetetaan.  

• Lisätietoa julkaisufoorumista
  

• Lisätietoa Journal Citation Reports -tietokannasta
  

Oppaan Tiedonlähteet ja työkalut -luvussa on esitelty keskeisimmät työkalut lehtien arviointiin.

•    Lisätietoa Scimago Journal Rank -palvelusta  

Lisätietoa: tuleeko Journal Indicatorsista tekstiä Tiedonlähteet ja työkalut –osioon?

Publish or Perish on ilmaisohjelma, jolla voi tehdä viittausanalyysejä Google Scholarin dataan perustuen. Analyysejä voi tehdä niin tutkijoista kuin lehdistäkin. 

Koska analyysit perustuvat Google Scholarin dataan, on tuloksiin suhtauduttava suuntaa-antavina. PoPin kautta julkaisujen yhteiskunnallisesta vaikuttavuudesta saa laajemman kuvan kuin perinteisten, tieteellisten viittausten hakuun tarkoitettujen tietokantojen kautta.
 
•    Lisätietoa Publish or Perish -ohjelmasta

Listat lehtien luotettavuudesta/epäluotettavuudesta

Erilaisia luotettavien tai epäluotettavien lehtien listauksia käytettäessä on hyvä muistaa, että ne eivät ole aina ajantasaisia – jos tiettyä lehteä ei löydy saalistajalehtilistalta, se ei vielä tarkoita, että lehti olisi luotettava. On hyvä tarkistaa lehden tiedot mahdollisimman monesta eri lähteestä. 

Julkaisufoorumiluokitusta voi käyttää myös lehtien luotettavuuden tarkistamiseen: jos lehti on otettu mukaan tasoille 1-3, on sen luotettavuus todettu asiantuntijapaneelin toimesta. Taso 0 on monitulkintainen: lehti voi olla ei-tieteellinen ja jopa saalistajalehti, mutta yhtä hyvin voi kyseessä olla luotettava tiedejulkaisu, joka on esim. niin uusi, ettei se ole vielä vakiinnuttanut asemaansa. Lisää 0-tason monitulkintaisuudesta

Lehtien luotettavuuden tarkistamiseen voi käyttää myös seuraavia listauksia:

•    Scholarly Open Access
Ilmainen Scholarly Open Access-palvelu ylläpitää listoja tieteellisesti kyseenalaisista open access -lehdistä ja kustantajista.

•    Cabell's Journalytics ja Predatory Reports
Cabell’s kustantamon maksulliset tietokannat. Journalytics –kanta listaa luotettavina pidettyjä lehtiä, Predatory Reports –kantaan on kerätty tietoa mahdollisista saalistajalehdistä.