Dodržování publikačních standardů v časopisu Rozhledy v chirurgii

Súhrn

Úvod:
Publikační standardy vznikly s cílem zlepšit kvalitu odborných článků. Aktuálně nejpoužívanější jsou CONSORT (Consolidated Standards of Reporting Trials), STROBE (Strengthening the Reporting of Observational Studies in Epidemiology) a CARE (Consensus-based Clinical Case Reporting Guideline). Spin představuje vědomě či nevědomě zkreslenou interpretaci výsledků, která má přesvědčit čtenáře o pozitivním přínosu hodnocené intervence. Cílem práce bylo zhodnotit kompliance prací publikovaných v časopise Rozhledy v chirurgii (RvCH) se standardy CONSORT, STROBE nebo CARE a identifikovat frekvenci výskytu spinu.

Metody:
Hodnoceny byly všechny články publikované v RvCH od 10/2014 do 9/2016. Vyřazena byla souhrnná sdělení, editorialy a zprávy. U původních prací a kazuistik bylo sledováno celkem 12 parametrů. Jakýkoliv závěr, který neodpovídal výsledkům předem definovaných sledovaných parametrů, byl označen jako spin. K hodnocení byla použita popisná statistika.

Výsledky:
Z 210 článků bylo hodnoceno 144 (69 %) publikací − 67 (47 %) retrospektivních studií, 3 (2 %) prospektivní studie a 74 (51 %) kazuistik. Studie vykazovaly nejvyšší kompliance u uvedení velikosti souboru (89 %). Na druhé straně limitace studie byly uvedeny u 22 % případů. Ve všech kazuistikách byla uvedena provedená vyšetření (100 %) a intervence (100 %). Naopak limitace nebyly uvedeny ani v jednom případě. Žádná z prací nesplňovala současně všech 12 sledovaných parametrů. Výskyt spinu byl zaznamenán u 47 (67 %) studií.

Závěr:
Žádný z hodnocených článků neodpovídal z formálního hlediska současným standardům. Spin se vyskytoval ve více než 2/3 publikací.

Klíčová slova:
publikační standardy − spin − CONSORT − STROBE − CARE

Úvod

Publikační standardy vznikly s cílem zlepšit kvalitu odborných článků. Tato doporučení jsou využívána většinou impaktovaných zahraničních časopisů a přispívají k přesnějšímu popisu metodiky, vyšší transparentnosti prezentovaných výsledků a snižují riziko chybné interpretace závěrů [1,2].

K nejpoužívanějším z nich patří Consolidated Standards of Reporting Trials (CONSORT) pro prospektivní randomizované studie [3], Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) pro retrospektivní a observační studie [4] a Consensus-based Clinical Case Reporting Guideline (CARE) pro publikaci kazuistik [5]. Bez ohledu na volnou dostupnost publikačních standardů vykazují odborné práce stále relativně nízkou kompliance s těmito doporučeními a celou řadu dalších nedostatků [6,7].

Jedním z problémů, na jehož vyhledávání a eliminaci se zaměřily některé ze současných prací, je tzv. spin [8]. Spin představuje vědomé či nevědomé zkreslení závěrů s cílem přesvědčit čtenáře o pozitivním přínosu hodnocené intervence [9]. Závěry odborné práce by měly odpovídat na předloženou hypotézu. Tato odpověď je podložena statistickým zhodnocením výsledků předem definovaných parametrů sledovaných na předem definovaném souboru. Jakékoliv narušení této posloupnosti může vést komu, že se autor vyjadřuje k hypotézám, které nebyly předmětem studie, nebo prezentuje výsledky selektivně (analýza podskupin, zdůraznění sekundárních cílů, zdůraznění pouze některých ze sledovaných parametrů). Spin byl identifikován v závěrech více než poloviny kontrolovaných studií s nesignifikantním výsledkem a jeho prevalence narůstá [10,11].

Časopis Rozhledy v chirurgii (RvCH) nemá v instrukcích pro autory zakomponována žádná ze zmiňovaných doporučení. Tento fakt je v současné době chápán jako nedostatek, který může vést k vyššímu riziku zkreslení výsledků a celkově horší kvalitě článků [12]. Z těchto důvodů je přínosné zjistit, zda publikace v RvCH odpovídají současným publikačním standardům.

Cílem práce bylo zhodnotit kompliance prací publikovaných v časopise RvCH se standardy CONSORT, STROBE nebo CARE a identifikovat frekvenci výskytu spinu.

Metody

Do retrospektivní analýzy byly zařazeny všechny články publikované v časopise RvCH v období od října 2014 do září 2016. Z tohoto souboru byly vybrány pouze původní práce a kazuistiky. Z analýzy byly vyřazeny publikace autora. U původních sdělení (prospektivní, retrospektivní, observační a kohortové studie) byla hodnocena kompliance s parametry odvozenými ze standardů CONSORT a STROBE. Mimo jiné bylo sledováno, zda byly v článku uvedeny cíle a design studie, popis souboru a statistické metody. Dále velikost souboru, popis sledovaných parametrů a jejich výsledky, limitace studie a závěr vycházející ze statistického hodnocení. Kazuistiky byly testovány podle systému CARE na přítomnost zdůvodnění výběru konkrétního případu, uvedení relevantních literárních odkazů v úvodu, popisu vyšetření, diagnostiky a časové osy případu včetně poslední kontroly. Dále uvedení limitací a shrnutí přínosu kazuistiky. Analyzován byl vždy celý text článku včetně souhrnu. Kompletní seznam parametrů je uveden v první tabulce (Tab. 1).

Všechny původní práce byly dále analyzovány na výskyt spinu. Ten byl definován jako jakéhokoliv tvrzení v závěru práce, které neodpovídalo statistickému hodnocení výsledků předem definovaných sledovaných parametrů. K prezentaci a hodnocení výsledků byla použitá popisná statistika a ke srovnání kompliance kazuistik a původních prací byl použit Mann-Whitney test.

Výsledky

Z celkových 210 příspěvků publikovaných za dané období bylo hodnoceno 144 článků (Schéma 1).

Vzhledem k malému počtu prospektivních randomizovaných studií byly tyto příspěvky hodnoceny společně se všemi původními pracemi.

Žádná z původních prací (N=70) nesplňovala všech 12 sledovaných parametrů včetně absence spinu uvedených v metodice (Tab. 1). Publikace nejčastěji splňovaly v bodech uvedení velikosti sledovaného souboru (89 %), způsobu výběru souboru (78 %) a uvedení cílů studie (78 %). Spin byl identifikován celkem u 47 (67 %) původních prací (Graf 1).

Ani jedna z hodnocených kazuistik (N=74) nesplňovala všech 12 sledovaných parametrů (Tab. 1). Největší úspěšnost byla pozorována u popisu případu – popis vyšetření (100 %), popis intervencí (100 %). Naopak nejméně často obsahovaly kazuistiky testovatelnou hypotézu (12 %) a limitace práce nebyla uvedena ani u jednoho kazuistického sdělení (Graf 2).

Rozložení počtu splněných sledovaných bylo u původních prací nehomogenní a nejčastěji bylo splněno 10/12 nebo 5/12. Kazuistiky naproti tomu vykazovaly rozložení homogenní s kulminací mezi 7/12 až 9/12 splněných parametrů (Graf 3). Nebyl pozorován signifikantní rozdíl mezi mediánem počtu splněných parametrů u původních prací – 7 (1−11) a kazuistik – 8 (4−10); p=0,34.

Diskuze

Vzhledem k tomu, že se míra publikační aktivity stala základním měřítkem úspěšného výzkumu, přibývá každoročně počet odborných článků. Tento trend se týká i oboru chirurgie, ve kterém došlo za posledních 20 let nejen k nárůstu počtu publikací, ale i k jejich zkvalitnění především na poli prospektivních randomizovaných studií [13,14].

Na druhé straně vykazují chirurgické publikace stále velké množství formálních i obsahových nedostatků [15,16]. Toto tvrzení platí i u kazuistických sdělení [17]. Jednou z možností, jak tyto chyby eliminovat, je zavedení a dodržování publikačních standardů. Ty mohou mít podobu jednoduchého seznamu (checklist), diagramu nebo podrobnějšího textu. Toto doporučení definuje minimální požadavky, které by měl rukopis splňovat, aby čtenář pochopil nejenom princip a výsledky provedené studie, ale zároveň byl schopen identifikovat eventuální limitace nebo bias. Většina renomovaných a běžně používaných doporučení je založena na konsenzu expertů zahrnujících metodology a editory [18].

Metaanalýza z roku 2012 potvrdila, že zavedení publikačních doporučení minimálně v podobě seznamu parametrů, které má rukopis splňovat, zlepšuje kvalitu a kompletnost článků publikovaných v odborných lékařských časopisech [19].

Pro účely prezentované analýzy byly vybrány validované systémy STROBE pro observační studie, CONSORT pro randomizované prospektivní studie a CARE pro prezentaci kazuistik. Všechna tato doporučení jsou zakomponována v algoritmu poskytovaném v rámci mezinárodní iniciativy EQUATOR (Enhancing the QUAlity and Transparency Of health Research), podle kterého je možné identifikovat nejvhodnější doporučení podle konkrétního typu studie [20]. Vzhledem k tomu, že časopis RvCH nemá ani jedno z těchto doporučení zakomponované v instrukcích po autory, byly z kontrolních seznamů zmíněných standardů vybrány pouze základní položky.

Výsledky analýzy ukazují, že práce publikované v RvCH nesplňují kritéria nejčastěji užívaných publikačních doporučení. Kazuistická sdělení, která splňovala 67 % (33−83 %) ze sledovaných parametrů se v tomto ohledu zdají být na vyšší úrovni, i když rozdíl nebyl oproti původním pracím signifikantní – 58 % (8,3 až 92 %). Většina článků z obou kategorií nicméně splňovala více než polovinu kritérií. Podrobnější analýza ukazuje, že původní práce mají větší výkyvy v kvalitě příspěvků, než je tomu u kazuistických sdělení. Tento fakt může být dán tím, že kazuistiky mají principiálně jednodušší strukturu a naplnění požadovaných bodů není tak složité. Podobné výsledky přinesla studie z roku 2016, která hodnotila kompliance s jednotlivými body doporučení před, během a po implementaci publikačního standardu STROBE [21]. Před zavedením splňovaly články 68 % (44−88 %) z bodů doporučení. Autoři prokázali signifikantní zlepšení kompliance (o 13 %) jeden rok po zavedení standardů. K adekvátně lepším výsledkům dospěla analýza více než 1300 kazuistických sdělení z oboru akutní medicíny [22]. Popis případu, vyšetření a intervence obsahovala většina prací (99 %, 88 % a 80 %). Podobně jako u kazuistiky v RvCH byly pozorovány horší výsledky u diskutování možného zobecnění případu (29 %) nebo limitací publikace včetně možného alternativního postupu (37 %).

V případě spinu se jedná o specifičtější problém vedoucí k mylné interpretaci výsledků. Spin lze identifikovat v kterékoliv části publikace včetně názvu a může k němu dojít nevědomě špatnou formulací nebo záměrně při pokusu oklamat čtenáře s cílem zatraktivnit prezentovaný rukopis [9]. Existuje celá řada strategií, jak spinu dosáhnout. Nejjednodušší je označit hodnocenou novou metodu jako lepší bez ohledu na statistickou analýzu výsledků. Je možné se zaměřit pouze na statisticky signifikantní výsledky bez ohledu na cíle studie (analýza podskupin). Statisticky nesignifikantní výsledky mohou být interpretovány jako ekvivalentní a obě hodnocené metody jako stejně účinné a bezpečné [10]. Výskyt spinu je pochopitelně nejčastěji sledován u prospektivních randomizovaných studií. V prezentovaném souboru původních prací však převládaly observační většinou retrospektivní studie. Spin byl proto vyhledáván pouze v závěru práce a definice zjednodušena. Celkem u 67 % článků obsah závěrečné kapitoly neodpovídal výsledkům. Nejčastěji se jednalo o obecné konstatování, které chybně označovalo hodnocenou metodu za účinnou nebo bezpečnou bez ohledu na to, že nebyl prokázán statisticky významný rozdíl v efektivitě anebo množství komplikací oproti jiné technice. Studie hodnotící 128 nerandomizovaných studií publikovaných v BMC Medical Series identifikovala spin v 84 % případů [23]. Tento výsledek je alarmující, uvážíme-li fakt, že spin byl vyhledáván pouze v textu souhrnu. Autoři obdobně označili jako největší problém kauzální tvrzení v závěru práce, ke kterému nerandomizovaná nebo observační studie většinou neopravňuje.

Mezi limitace této práce patří fakt, že analýza byla provedena pouze jedním pozorovatelem, což mohlo ovlivnit objektivitu výsledků. Hodnocená kritéria byla na druhou stranu poměrně přesně definována, což riziko chyby snížilo. V souboru navíc nebyly hodnoceny žádné z publikací samotného autora. Limitujícím může být i společné hodnocení souhrnu a celého článku textu. Podle doporučení by sám souhrn měl splňovat takřka všechny sledované parametry. Po zhodnocení prvních 40 souhrnů byla však celková kompliance minimální, proto se autor rozhodl analyzovat článek vždy jako celek.

Závěr

Žádná z hodnocených původních prací a kazuistik publikovaných v RvCH neodpovídala z formálního hlediska současným publikačním doporučením. Spin se vyskytoval ve více než 2/3 publikovaných původních prací. Vytvoření konkrétních standardů pro potřeby RvCH by mohlo vést ke zvýšení kvality příspěvků.

Seznam zkratek

CARE Consensus-based Clinical Case Reporting Guideline

CONSORT Consolidated Standards of Reporting Trials

EQUATOR Enhancing the QUAlity and Transparency Of health Research

NÚ Nežádoucí účinky

RvCH Rozhledy v chirurgii

STROBE Strengthening the Reporting of Observational Studies in Epidemiology

Konflikt zájmů

Autor článku prohlašuje, že není v souvislosti se vznikem tohoto článku ve střetu zájmů a že tento článek nebyl publikován v žádném jiném časopise.

MUDr. Ondřej Ryska, Ph.D.

Biskupcova 89

130 00 Praha 3

e-mail: ondrejryska@centrum.cz