How are journals analysed?

Subjective evaluation methods

Expert evaluations 

Expert journal evaluation is applied, for example, when organisations decide on journal subscriptions. Expert evaluations are particularly useful for journals whose quality cannot be evaluated by the usage or citation indicators.

Expert evaluations require a lot of work. While many researchers can name the leading journals in their field, evaluating hundreds of journals is very difficult in itself. Journal lists based on expert evaluation are subjective and the scores given to a particular journal may vary from one list to another. However, they provide information on the prestige of the journal and complement the qualitative indicators based on statistical data.

Examples of qualitative evaluation systems for journals  

The Publication Forum (JUFO) (linkki) is a publication channel classification system to support the quality assessment of scientific publishing activities. The classification has been designed to take into account the different publication cultures. The Publication Forum classification rates the major foreign and domestic publication channels of all fields of science as follows:

1 = basic level

2 = leading level

3 = highest level

0 = publication channels that do not meet the criteria for level 1.

The evaluation of publication channels is performed by discipline-specific expert panels composed of Finnish or Finland-based researchers.

• Further information on the Publication Forum (linkki)

National publication channel classifications are used in many countries. The Publication Forum classification is similar to the classifications used in Norway and Denmark, for example:

• Norwegian Register for Scientific Journals, Series and Publishers (linkki)
• Danish Bibliometric Research Indicator (BFI) (linkki)

Different fields of science also have lists of journals that are considered to be the most relevant. These include ERIH PLUS (humanities and social sciences), Association of Business Schools Academic Journal Quality Guide (ABS; economics and business administration) and Nature Index (natural sciences).

Peer review  

The peer-review practice of the manuscripts submitted for publication in a journal, i.e. the referee practice, is considered to be an indicator of the quality of the journal. The aim of the peer-review practice is to ensure that researchers adhere to the practices recognised in their field and to prevent misstatements and misinterpretations. 

Information on the journal’s peer review practices should be checked on the journal’s own website. The paid Ulrichsweb service also includes information on whether the journal has been peer reviewed. 

• Further information on peer review (linkki)

Lehden maine 

Lehden maine voi perustua sitä julkaisevan organisaation, kustantajan tai päätoimittajan maineeseen. Kustantajan hyvä maine ei kuitenkaan takaa lehden korkeaa laatua. Uusille lehdille kustantajan tunnettuus on toisaalta tärkeä arviointiperuste. 

Jotkut lehdet ovat kansainvälisesti tunnettuja ja arvostettuja laajemminkin kuin vain edustamansa tieteenalan tutkijoiden piirissä. Esimerkkejä tällaisista lehdistä ovat mm. Nature, Science ja JAMA.

Vaikka lehden maine onkin melko pysyvä, vaihtelee se kuitenkin ajan myötä eikä siksi ole kovin hyvä arvioinnin peruste. Lehden hyvä maine otetaan yleensä annettuna, eikä sitä juuri arvioida uudelleen.

Lehteä indeksoivat tietokannat

Lehden näkyvyyttä lisää se, että se indeksoidaan keskeisiin tietokantoihin. Indeksointia esimerkiksi Scopus tai Web of Science –tietokantoihin on pidetty merkkinä luotettavuudesta, koska lehden on täytettävä tietyt kriteerit. Lue lisää tietokantojen valintaperusteista Web of Science-, Scopus-luvuista.

Luonnontieteissä ja lääketieteessä lehden sisältymistä Web of Science –tietokantaan on pidetty meriittinä, koska tietokantaan sisältyvälle lehdelle voidaan laskea Impact Factor (IF) –luku . Impact factor on yksi tunnetuimmista bibliometrisistä indikaattoreista ja sitä on käytetty paljon erilaisiin, myös sille soveltumattomiin käyttötarkoituksiin.  IF-lukuja on myös yritetty manipuloida, esimerkiksi jotkut lehdet pyrkivät nostamaan lukua epäeettisin keinoin. Tämä on mahdollista, koska IF-luvut ottavat huomioon myös itseviittaukset.  Vuosittaisia IF-lukuja laskettaessa saatetaan kiinnittää huomiota lehden poikkeuksellisen suuriin itsesitaatiomääriin  tai viittausten perusteella herää epäily sitaatiokartellista (joukko lehtiä ryhtyy systemaattisesti viittaamaan toisiinsa). Tällaisia lehtiä ei poisteta JCR-tietokannasta, mutta niille ei lasketa uusia IF-lukuja ennen kuin viittauspoikkeamat on selvitetty.

Lue lisää indikaattorien vastuullisesta käytöstä: Lehtien arvioinnissa käytettäviä indikaattoreita.

Maksullisesta Ulrichsweb-tietokannasta voi tarkistaa, mihin tietokantoihin lehti on indeksoitu. 

Määrälliset arviointimenetelmät

Lehtien arviointi määrällisten menetelmien avulla perustuu vaikuttavuuden arviointiin viittaustietojen tai käyttö- tai muiden tilastojen perusteella.

Määrällisten arviointimenetelmien hyviä puolia ovat objektiivisuus ja aineiston helppo saatavuus. Ongelmattomia ne eivät kuitenkaan ole. Niiden tulokset ovat usein vaikeasti tulkittavia, koska ne eivät suoraan mittaa laatua. Aina ei myöskään ole helppoa selvittää, miten eri indikaattorit on laskettu ja millaisiin viittaustietoihin ne perustuvat. Viittaustiedot sisältävät myös monenlaisia virheitä ja niitä voidaan tarkoituksellisesti manipuloida. Lehtien vertailu eri tieteenalojen välillä ei myöskään ole mahdollista, koska eri alojen julkaisu- ja viittauskäytännöt poikkeavat toisistaan. 

Lehtien viittausvaikuttavuusindikaattorit

Lehden laadun arvioiminen siinä julkaistujen artikkeleiden saamien viittausten lukumäärän perusteella perustuu olettamukseen, että sellaiset artikkelit, joihin viitataan usein, sisältävät tieteenalallaan merkittävää tietoa. Viittausten avulla laskettu lehden viittausvaikuttavuusindikaattori voidaan laskea vasta vuosien kuluttua lehden julkaisemisesta, koska viittaukset tulevat myöhemmin julkaistuista artikkeleista. On hyvä huomioida, että lehtien viittausmääriin vaikuttavat myös lehden vuosikertojen määrä, tieteenalan viittauskäytännöt sekä lehden tyyppi.  Laaja-alaiset, katsausartikkeleita julkaisevat lehden keräävät yleensä enemmän viittauksia kuin erikoistuneet, niukemman julkaisumäärän lehdet.

Lehtikohtaiset viittausvaikuttavuusindikaattorit ovat aina jonkinlaisia keskiarvoja niissä julkaistujen artikkelien viittausvaikuttavuudesta.

Lehtien arvioinnissa voidaan käyttää eri tavoin laskettuja viittausvaikuttavuusindikaattoreita. Kaikki indikaattorit lasketaan tietystä lehtijoukosta, esimerkiksi Scopus tai Web of Science –tietokannan sisältämistä lehdistä.  Tämä vaikeuttaa eri indikaattoreiden keskinäistä vertailua, koska ne poikkeavat toisistaan paitsi indikaattorin laskutavan, myös pohjana käytettävän tietokannan lehti- ja viittausaineiston mukaan. On myös huomioitava, että eri tieteenalojen lehtiä sisältyy vaihtelevasti eri tietokantoihin. Viittausmääriin perustuvat indikaattorit ovat yleensä käyttökelpoisia aloilla,  joissa tutkimusta julkaistaan pääsääntöisesti  kansainvälisissä tieteellisissä sarjoissa ja viittauskäytänteet ovat vakiintuneita. Paljon monografia-aineistoja ja/tai pienten kielialueiden kielillä julkaisevilla aloilla indikaattorit eivät ole käyttökelpoisia. 

Osa indikaattoreista perustuu yksinkertaisiin laskukaavoihin, osa taas monimutkaisiin algoritmeihin. Uusia indikaattoreita kehitetään jatkuvasti ja olemassa olevista indikaattoreista tulee uusia muunnelmia. 

Eri indikaattorit vaihtelevat sen mukaan, kuinka pitkän aikavälin kuluessa viittauksia tarkastellaan ja mitkä viittaukset lasketaan mukaan. Myös artikkelien kokonaislukumäärän laskeminen vaihtelee, joissakin indikaattoreissa huomioidaan kaikki lehdessä julkaistut artikkelityypit, joissakin vain tietyntyyppiset artikkelit. Eri indikaattorit poikkeavat toisistaan myös sen mukaan, ovatko kaikki viittaukset laskennassa keskenään samanarvoisia vai eivät.

•    Lisätietoa indikaattoreista

Lehden käyttötilastot ja artikkelien hyväksymis- tai hylkäysprosentti

Lehtiä voidaan arvioida myös käytön perusteella. Useista lehdistä on mahdollista saada tietoa esim. lehden artikkelien latausmääristä ja linkityksistä. 

Tieteellisiä lehtiä luetaan paitsi oman tutkimuksen tarpeisiin, myös pelkästä mielenkiinnosta ja halusta seurata tieteen kehitystä. Tieteellisiä lehtiä lukevat myös sellaiset henkilöt, jotka eivät itse julkaise niissä. Siksi lehtien lukemisen tarkastelu voisi antaa niiden asemasta erilaista tietoa kuin niiden saamien viittausten tarkastelu.

Lehtiä, joihin tarjotaan paljon käsikirjoituksia ja joilla on korkea hylkäysprosentti, pidetään tasokkaina. Lehdet ilmoittavat usein käsikirjoitusten hyväksymis- tai hylkäysprosentteja. Nämä luvut ovat kuitenkin melko epäluotettavia lehtien keskinäistä vertailua varten, koska niiden laskutavat vaihtelevat eri lehdissä.

Lehdet hylkäävät käsikirjoituksia myös muista syistä kuin tieteellisten heikkouksien vuoksi, mm. siksi, etteivät ne ole lehden aihepiiriin sopivia. Hyväksymisprosentit ja hylkäämisen syyt vaihtelevat suuresti eri alojen ja jopa saman alan eri lehtien välillä. Hylkäysprosentit eivät myöskään ole pysyviä, vaan voivat vaihdella melko nopeastikin.

Työkaluja lehtien arviointiin 

Oppaan Tiedonlähteet ja työkalut -luvussa on esitelty keskeisimmät työkalut lehtien arviointiin.

• Julkaisufoorumi
• Journal Citation Reports
• Cabells Scholarly Analytics
• Muita julkaisukanavien arviointityökaluja

Listat lehtien luotettavuudesta/epäluotettavuudesta

Erilaisia luotettavien tai epäluotettavien lehtien listauksia käytettäessä on hyvä muistaa, että ne eivät ole aina ajantasaisia – jos tiettyä lehteä ei löydy saalistajalehtilistalta, se ei vielä tarkoita, että lehti olisi luotettava. On hyvä tarkistaa lehden tiedot mahdollisimman monesta eri lähteestä. 

Julkaisufoorumiluokitusta voi käyttää myös lehtien luotettavuuden tarkistamiseen: jos lehti on otettu mukaan tasoille 1-3, on sen luotettavuus todettu asiantuntijapaneelin toimesta. Taso 0 on monitulkintainen: lehti voi olla ei-tieteellinen ja jopa saalistajalehti, mutta yhtä hyvin voi kyseessä olla luotettava tiedejulkaisu, joka on esim. niin uusi, ettei se ole vielä vakiinnuttanut asemaansa. Lisää 0-tason monitulkintaisuudesta

Lehtien luotettavuuden tarkistamiseen voi käyttää myös seuraavia listauksia:

•    Scholarly Open Access
Ilmainen Scholarly Open Access-palvelu ylläpitää listoja tieteellisesti kyseenalaisista open access -lehdistä ja kustantajista.

•    Cabell's Journalytics ja Predatory Reports
Cabell’s kustantamon maksulliset tietokannat. Journalytics –kanta listaa luotettavina pidettyjä lehtiä, Predatory Reports –kantaan on kerätty tietoa mahdollisista saalistajalehdistä.