Pár řádků o problémech a záhadách hodnocení kvality vědecké práce

Problém s hodnocením kvality vědeckých časopisů pomocí indexů je značný. Principiálně jde u indexů o hodnocení na podkladě počtu citačních ohlasů. H-Index (Hirschův) je preferovaný pro hodnocení autorů, IF (impact factor) je určený pro časopisy. Číselná velikost a velmi názorná srovnatelnost hodnot indexů je neocenitelná vlastnost, zejména pro jednoduchost a tím i pro hodnotitele. A tak je kvantifikace hodnocení  existenční podmínkou periodik. Jde vždy o kriterium kvality nebo do jisté míry i o posedlost autorů, redakcí a hodnotitelů? V běžných časopisech laboratorní medicíny (třeba těch se slušnými hodnotami IF) můžeme najít některé zajímavé informace a názory v pracích známých laboratorních odborníků [1, 2, 3, 4]. Jsou v nich stručně uváděny hlavní námitky vůči oběma základním scientometrickým (neplést si se scientologií!) kriteriím. Jsou to kontroverzní metody získávání jejich hodnot, obtížnost až nemožnost korektního statistického zpracování, neprůhlednost dat pro výpočty, ale také častá možnost externích manipulací se vstupními daty (i vědci jsou lidé se svými specifickými zájmy), které je těžké mít důsledně pod kontrolou. Občas se považuje za řešení těchto chronických problémů pokusné zavádění nových scientometrických indikátorů (SIF, Copernicus index), o jejichž podloženosti se zatím kvůli jejich novosti těžko diskutuje. Konkrétní zajímavosti není však na škodu uvést. Například, že korelace mezi novou hodnotou SIF a H-indexem je mizivá [1] a že s Copernicus Indexem často operuje nevyžádaná emailová korespondence s predátorskými časopisy. Kritický, ale obezřetný (ne negativistický) přístup k scientometrickým datům a metodám je jádrem známé Sanfranciské deklarace o hodnocení vědeckých dat (San Francisco De-claration on the Research Assessment-DORA) z roku 2012, které se dostalo oprávněné pozornosti vědeckých a dokumentačních institucí. Obsahem deklarace je pokus o racionální modifikaci čistě kvantitativního hodnocení významnosti vědeckých poznatků již uvedenými scientometrickými indexy a faktory používáním dalších indikátorů kvality spíš kvalitativní povahy (preference reálného přínosu před počtem a IF publikačního nástroje, zohledňování publikací online bez nutnosti plnit řadu formálních publikačních požadavků). Kdo někdy vykazoval roční přehled publikační činnosti, ví o jak formalistický a apriorními pravidly svázaný proces se jedná.

Hodnocení kvality vědy a výzkumu je zcela zásadní věc  nejen pro vědu samotnou, ale i pro ekonomiku, společnost, politiku. IDEA-Institut pro demokracii a ekonomickou analýzu uveřejnil recentně na svých webových stránkách řadu materiálů, z nichž některé mohou enormně zaujmout lidi například i kolem časopisu Klinická biochemie a metabolismus. Týká se to práce autorů z prosince 2017, kde časopis je explicitně s řadou dalších zmiňován v prezentaci s názvem “Místní časopisy ve Scopusu“ [5]. Sdělení analyzuje nízký význam místních časopisů pro rozvoj špičkové vědy, táže se po efektivitě jejich financování, varuje mladé vědce před autorstvím v nich, které může údajně ohrozit jejich osobní kariérní rozvoj. Celá rozsáhlá analýza domácích časopisů, indexovaných ve Scopusu, je v prezentaci založena více méně  na počtu domácích a zahraničních autorů a na počtu autorů ze stejné instituce, jako je vydavatelství časopisu (v prezentaci je tato situace dost trefně označována jako něco, blízké samizdatu). Jiná hlediska kvality hodnocení se v tomto sdělení významně neuplatňují. Výsledkem prezentace je jednoznačně formulovaný závěr o zbytečnosti místních časopisů (dokonce snad i s ne zcela jemným naznačením jejich škodlivosti).

I bez tohoto sdělení je předem jasné, že domácí časopisy ve vernakulární řeči skutečně nemají špičkové vědě co říci a že špičkoví mladí vědci musí publikovat zejména v mezinárodních časopisech, pracovat v mezinárodních kolektivech, řešit otázky vědy v celosvětovém měřítku. Žádné sebezávažnější problémy a pochybnosti o nespolehlivosti scientometrických indikátorů na tom faktu nic nezmění. Nicméně si dovolím pochybnosti a zkusím podat několik námitek.

Opravdu je laboratorní medicína a většina publikujících pracovníků výhradním prostorem špičkové vědy?  Nezaujímá zde velmi významnou oblast aplikovaná věda? Co je nevhodného na použití místních publikačních nástrojů pro informace o aplikaci špičkové vědy, pro kontinuální edukační procesy? Není zbytečně agresivní přístup k místním edukačně aplikačním zdrojům nemístný a je jejich existence skutečnou ekonomickou zátěží? Nemohla by být jejich případná absence škodlivá? Neznáme z historie dramaticky pozitivní dopady vernakulárních jazyků na kulturní dědictví? Mám na mysli na příklad Dantovu Božskou komedii pro Itálii, Lutherův překlad Bible pro Německo. Nemohly a neměly by místní časopisy, opovrhované a podceňované, sehrávat pozitivní roli v současném dost otřesném úpadku kulturnosti a porozumění vědě? 

Databáze Scopus, pohodlně přístupná přes sociální sítě, určené vědě (například Research Gate) dost jasně ukazují, že ani publikace v Klinické Biochemii a Metabolismu nejsou díky anglickým abstraktům a textům v tabulkách a grafech smutnými sirotky, bloudícími beznadějně v pustých oblastech za hranicemi vědy, ale jsou i v zahraničí ne právě zřídka čtené (zejména v asijských zemích), dost často komentované a nezanedbatelně citované. Mám pocit, že autoři z IDEA [5] pojali svou prezentaci s jistou dávkou povrchnosti a pod přílišným vlivem scientometrie a možná i snobství.

Druhá publikace z dílny IDEA je diametrálně odlišná a pojednává o rozvinutí zásad DORA formou zcela nově publikovaného „Leidenského manifestu“ [6]. Jedná se o pokus zcela nového přístupu k hodnocení vědecké kvality a jeho zásady, velmi podobné zásadám DORA jsou shrnuty do jakéhosi desatera, dávajícího přednost kvalitativním kriteriím před striktním používáním kvantitativních indexů. Jde tedy podle mého názoru o zajímavější a zásadnější přístup, protože  má, myslím, obecnější platnost. 

Velmi podobný názor na údajný rozpor mezi časopisy pro špičkovou a aplikovanou vědu a proti trendům vylučovat jednu ve prospěch druhé byl nedávno vyjádřen v časopise s více, než stoletou tradicí, v Chemických listech [7]. V tomto článku byl zmíněný ještě další problém místních časopisů, který je zásadní, ale ze zorného pole dokumentačních pracovníků, posuzujících strategickou situaci publikačních činnosti, úplně zmizel. Jde o úroveň příspěvků. Ta je dost ohrožená neochotou sdělovat své poznatky, přerůstající občas k obecné nechuti (jak se zdá momentálně téměř k všemu), špatným vybavením vyjadřovacími  schopnostmi, mizernou češtinou, komunikačními problémy života „v bublinách tekutého světa“ (jak charakterizují ne bezdůvodně naši dobu někteří sociologové a filozofové).

Kvalita některých analytických prací laboratorní medicíny publikovaná poslední dobou v některých informačních bulletinech je opravdu velmi povážlivá. A preferování periodik výrobců pro publikování některých přehledových článků  se vypořádává s problematikou místních odborných časopisů velmi svérázným způsobem, lákajícím ho popsat jako cestu z deště podceňovaných místních časopisů pod okap predátorských periodik.

Špičková věda sama vykazuje principiálně ještě závažnější problém, než nedostatky, dané spornou povahou scientometrických (H a IF) indexů. Jde o notorické problémy s reprodukovatelností výsledků jejich studií, které svou závažností a možnými důsledky patrně daleko překonávají problémy scientometrie a nedostatečného dosahu místních publikačních zdrojů. To je dobře známý fakt, zatím při hodnocení vědecké kvality současným hodnotitelům k řešení zcela nedostupný. Některé studie uvádějí jen 11 - 25% reprodukovatelnost publikovaných výsledků [8]. Časopis Nature, který lze jen těžko podezřívat z omezenosti významu pro vědu, nedávno uveřejnil sérii článků pod výmluvným názvem „Challenges in irreproducible research“ - viz informace v českém článku [9]. Tento problém nevyřeší žádný klasicky používaný nebo snad nově navrhovaný index/faktor. Dokonce ho nevyřeší ani módní přístup, tak pěkně vyjádřený v mottu sdělení klasikem sci-fi.

Na závěr bych zdůraznil, že článek je míněn jako osobní úvaha nad problémy, které jsou klíčové a které nazrávají k řešení, o němž sám nemám jasno. Jen něco mi jasné je. Změny v hodnocení kvality publikací jsou nutné, publikace „místního“ významu jsou důležitou formou aplikovaného výzkumu, rigidní systém indexů a faktorů bude velmi pravděpodobně liberalizovaný hlavně rozumným využíváním možností současných IT (webináře, elektronické zdroje a další) a kvalita vědy bude vždy navzdory indexům a profesionálním hodnotitelům rovna kvalitě lidí, kteří ji dělají.