#PAGE_PARAMS# #ADS_HEAD_SCRIPTS# #MICRODATA#

Testy verbální fluence, česká normativní studie pro osoby vyššího věku


Verbal Fluency Tests – Czech Normative Study for Older Persons

Aim:
The aim of the study was to report normative data on letter (LF; letters K, P, S) and semantic fluency (SF; animals and vegetables).

Introduction:
Verbal fluency (VF) is one of the most frequently used neuropsychological methods for the assessment of cognitive performance in clinical and experimental neuropsychology. However, representative normative data for the Czech population of older and very old adults are so far lacking.

Methods:
We administered VF as part of neuropsychological battery to 540 (292 women, 248 men) healthy older adults (60–96 years of age). In LF, the letters K, P, S and their total score were used as analogous to the original Controlled Oral Word Association Test (COWAT/FAS). In SF, we evaluated performance in two categories – animals and vegetables.

Results:
Age was significantly (p < 0.001) related to a sum of K + P + S (r = –0.236) as well as animals (r = –0.359) and vegetables (r = –0.264). However, the association was moderate. Education was also moderately related (p < 0.001) to the sum of K + P + S (r = 0.297) and animals (r = 0.357). However, we did not find a significant relationship between age and vegetables (r = 0.028; p = 0.523). Vegetables were also the only measure that showed highly significant sex differences (p < 0.001). We present normative Czech data for 60–75, 70–85 and 80–96 age groups.

Conclusion:
The results of our study confirm a significant moderate influence of age and education (with the exception of vegetables for the latter) on all VF measures. There were highly significant sex differences in the vegetable category.

Key words:
verbal fluency – normative data – neuropsychological assessment

The authors declare they have no potential conflicts of interest concerning drugs, products, or services used in the study.

The Editorial Board declares that the manu­script met the ICMJE “uniform requirements” for biomedical papers.


Autori: T. Nikolai 1;  H. Štěpánková 2;  J. Michalec 2,3;  O. Bezdíček 1,2;  K. Horáková 2;  H. Marková 4;  E. Růžička 1;  M. Kopeček 2
Pôsobisko autorov: Neurologická klinika a Centrum klinických neurověd 1. LF UK a VFN v Praze 1;  Národní ústav duševního zdraví, Klecany 2;  Psychiatrická klinika 1. LF UK a VFN v Praze 3;  Mezinárodní centrum klinického výzkumu, LF MU a FN u sv. Anny v Brně 4
Vyšlo v časopise: Cesk Slov Neurol N 2015; 78/111(3): 292-299
Kategória: Původní práce
doi: https://doi.org/10.14735/amcsnn2015292

Súhrn

Cíl:
Cílem našeho článku je předložit normativní data pro fonemickou verbální fluenci (VF), pro hlásky K, P, S, i sémantickou VF, pro kategorie zvířata a zelenina.

Úvod:
Testy verbální fluence jsou jedna z nejrozšířenějších metod hodnocení kognitivní výkonnosti. V českém prostředí dosud neexistuje kvalitní normativní studie testů VF se zaměřením na populaci starších osob, u kterých se tato metoda používá nejčastěji.

Metodika:
Testy VF jsme administrovali v rámci neuropsychologické baterie 540 zdravým osobám (292 žen, 248 mužů) nad 59 let. V části fonemické VF jsme použili hlásky K, P, S a celkový skór všech hlásek (K + P + S) jako analogii anglického originálu F, A, S v Controlled Oral Word Association Test (COWAT/FAS). V rámci sémantické VF jsme hodnotili výkonnost ve dvou kategoriích, zvířata a zelenina.

Výsledky:
Věk má statisticky významný (p < 0,001) slabý až středně silný vliv na výkon ve VF, reprezentovaný součtem skórů K + P + S (r = –0,236), zvířata (r = –0,359) a zelenina (r = –0,264). Rovněž počet let vzdělání ovlivňuje slabě až středně silně výkon ve VF. Statisticky významně (p < 0,001) pouze ve skórech K + P + S (r = 0,297) a zvířata (r = 0,357). Mezi věkem a skórem zelenina vztah není signifikantní (r = 0,028; p = 0,523). Ve skóru zelenina existuje signifikantní (p < 0,001) rozdíl mezi muži a ženami. Dále předkládáme normativní data pro věkové skupiny 60–75 let, 70–85 let a 80–96 let.

Závěr:
Výsledky naší studie prokazují statisticky významný vliv věku na všechny uvedené zkoušky VF. Fonemická VF a kategorie zvířata jsou závislá i na výši vzdělání, v kategorii zelenina není výkonnost závislá na vzdělání, ale na pohlaví.

Klíčová slova:
verbální fluence – normativní studie – neuropsychologické testy

Úvod

Testy verbální fluence (VF) jsou široce užívanou metodou v klinické i experimentální neuropsychologii [1] a jsou oblíbeným nástrojem pro svou jednoduchou administraci a skórování. Za autora zkoušky je považován Thurstone, který v roce 1962 publikoval písemnou verzi testu VF (Word Fluency Test), Benton vytvořil ústní verzi pod názvem Controlled Verbal Fluency Task (CVFT), kde použil hlásky F, A, S (odtud často užívaný název zkoušky – FAS). Tato verze byla v roce 1967 zařazena Bentonem do Neurosensory Center Examination for Aphasia. Benton zařadil zkoušku generování slov hlásek C, F, L a P, R, W pod názvem Controlled Oral Word Association (COWA) do baterie pro vyšetření afázií. Další autoři se věnovali generování slov kategoriálních (sémantických), kdy se generují slova patřící do stejné kategorie (např. zvířata, zelenina, nákupní seznam atd.) či slovesa. Podrobnější informace o vývoji testu generování slov viz např. Preiss [2].

Testy VF jsou součástí mnoha neuropsychologických baterií, v českých verzích najdeme sémantickou fluenci např. jako součást 7minutového skríningového testu [3], v baterii na kognitivní deficit pa­cientů se schizofrenií [4]. Fonetické generování slov je užíváno v brněnské neuropsychologické baterii určené pro depresivní pa­cienty [5] a neuropsychologické baterii Psychiatrického centra Praha [6]. Z používaných a rozšířených neuropsychologických baterií v zahraničí jsou testy sémantické VF součástí nejrozšířenější baterie pro hodnocení kognitivních funkcí u Alzheimerovy nemoci Uniform Data Set [7] nebo např. baterie pro hodnocení exekutivních funkcí Delis‑Kaplan Executive Function System (D‑KEFS) [8]. Výkon v testu VF můžeme hodnotit z hlediska psychomotorického tempa, verbální produkce, sémantické paměti nebo exekutivních funkcí – vždy se přitom budeme zaměřovat na jiný aspekt výkonu [9]. VF obvykle dělíme na fonemickou (FF) a sémantickou (SF). Testy FF měří slovní produkci slov začínajících jednotlivými hláskami, při administraci v anglickém jazyce bývají nejčastěji užívané hlásky F, A, S. V rámci testů SF bývají nejfrekventovanější kategorie zvířata, ovoce, zelenina, oblečení, obchod atd. [10].

FF je ve většině zobrazovacích studií asociována spíše s oblastí levého frontálního kortexu [11–13], zatímco SF spíše s oblastmi temporálních laloků [11,12]. Testování VF tedy může pomoci detekovat poruchy exekutivních funkcí, psychomotorického tempa a řeči, psychické procesy vázané na funkci frontálního kortexu a fronto‑subkortikálních okruhů stejně jako poruchy psychických procesů vázaných na oblast temporálního laloku, jako je sémantická paměť [13–16].

V klinické praxi je VF užívána pro detekci mírné kognitivní poruchy [17]. Dostupné longitudinální studie dokládají zvýšené riziko rozvoje syndromu demence u jedinců s narušenou schopností VF [18–21]. Lze ji použít i pro diferenciální dia­gnostiku, neboť může pomoci rozlišit mezi různými příčinami demence [22,23]. U pa­cientů s Alzheimerovou nemocí (AN) bylo prokázáno pouze mírné postižení FF, očekává se větší postižení SF [24–27]. Naopak u neurodegenerativních onemocnění zasahujících kortikální oblast a frontostriatální okruhy, jako je např. Parkinsonova či Huntingtonova nemoc, bývá FF narušena v časné fázi [17,28,29], někdy dokonce již v preklinických stadiích [30]. Pa­cienti s onemocněním frontotemporální lobární degenerací (FTLD) mají taktéž snížený výkon v testech VF. Behaviorální varianta FTLD je typická spíše narušením výkonu v oblasti FF, zatímco jazykové prezentace kognitivního deficitu v rámci FTLD v podobě nonfluentní varianty primární progresivní afázie mají narušeny obě složky VF [31], sémantická varianta FTLD je charakteristická hlubším narušením SF [32].

Dosud provedené zahraniční normativní studie potvrzují vliv věku na výkonnost ve zkouškách FF [33–40] i SF [34,36,39–44]. Ně­kte­ré studie navíc dokládají silnější vliv vysokého věku na počet produkovaných slov v SF ve srovnání s FF [40,45–48]. Také úroveň vzdělání se podle dostupných studií významně podílí na výkonu ve FF i SF [34–37,40–47]. Údaje o vlivu pohlaví na výkonnost v testech VF jsou v dostupné literatuře nejednotné; mnozí autoři shledávají, že pohlaví má na výkon ve FF i SF pouze nepatrný nebo žádný efekt [34,35,39,40,42–45,47], ně­kte­ré studie naopak referují, že ženy podávají ve FF vyšší výkon ve srovnání s muži [33,46].

V České republice byla publikována data pro FF na hláskách N, K, P [49,50], dále pak práce se závěry o ekvivalenci různých hlásek FF [51]. Rozsáhlé datové soubory, z nichž by bylo možné odvíjet normativní data pro starší českou populaci, však v současnosti chybí. Jedná se vzhledem k rozšířenosti tohoto dia­gnostického nástroje zejména u osob vyššího a vysokého věku, kdy dochází k významné, věkem podmíněné změně v kognitivním výkonu, o citelný nedostatek pro kvantitativní hodnocení VF.

Cílem naší studie je analyzovat výkonnost v testech FF i SF u zdravých osob staršího věku a prezentovat normativní data zkoušky FF (K, P, S) a dvou zkoušek SF (zvířata, zelenina) s ohledem na výkonnost v jednotlivých časových intervalech testu (klasické 60s provedení testu, v prvních 30 s a v intervalu 30–60 s). 

Soubor a metodika

U FF jsme při určení hlásek vycházeli ze studie Preisse et al [50]. Česká validizovaná verze N, K, P byla konstruována tak, aby odpovídala frekvencí slov anglické verzi F, A, S. V praxi však byla hláska N problematická, protože v českém jazyce lze generovat slova pomocí negace, což byl zcela odlišný proces tvorby slov než u ostatních hlásek. Toto nebylo v instrukci ošetřeno a v praxi docházelo k rozdílným interpretacím výkonu osob, které tuto strategii užívaly. Také dle studie ekvivalence různých hlásek [51] slova od hlásky N mají nižší četnost, než je tomu u hlásek K a P, více a přehledněji viz Štorková et al [52], Kopeček et al [51]. Proto jsme nahradili hlásku N, použitou v preliminární české studii [50], hláskou S, která má podobné charakteristiky četnosti slov jako hlásky K a P a odpovídá tedy více původnímu záměru anglické verze co do obtížnosti tří relativně ekvivalentních hlásek F, A, S.

Do SF jsme zařadili nejrozšířenější kategorii zvířata, použitou např. v 7minutovém skríningovém testu [3]. Kategorie zvířata má dle zahraničních studií [39] relativně vysokou četnost slov, proto jsme ji doplnili kategorií zelenina, kde očekáváme nižší četnost slov. Zároveň jsou kategorie zvířata i zelenina používány v rámci SF v nejrozšířenější testové baterii pro výzkum AN v zahraničí, tzv. Uniform Data Set [7]. Souběžnou validitu jsme zjišťovali pomocí korelace testu VF s dalšími kognitivními testy v neuropsychologické baterii, zejména s testy paměti a exekutivních funkcí.

Nábor účastníků probíhal v roce 2012 ve 12 krajích České republiky za pomoci 25 administrátorů prostřednictvím letáků na poštách, v ordinacích praktických lékařů, webu Psychiatrického centra Praha (PCP) a rovněž metodou „snow‑ball“ – sněhové koule, tj. za využití sociálních sítí účastníků. K zařazení do studie došlo, pokud zájemce o účast uvedl, že není léčen pro ně­kte­rou formu demence či mírnou kognitivní poruchu, netrpí závažným neurologickým onemocněním (např. Parkinsonova choroba, epilepsie), neprodělal mozkovou mrtvici či úraz hlavy s bezvědomím, není léčen pro akutní fázi psychiatrického onemocnění (např. deprese), neprochází chemoterapií či radioterapií při onkologickém onemocnění a nebyl hospitalizován pro závislost na alkoholu, lécích či drogách. Probandi souhlasili s tím, že budou po dobu čtyř let každoročně vyšetřeni neuropsychologickou baterií. Za absolvované vyšetření v rámci studie byli honorováni částkou 200,–  Kč.

Nábor probíhal do předem daných kategorií stratifikovaných dle věku (pětileté intervaly, 60, 65, 70, 75, 80 a nad 85 let), pohlaví a vzdělání (s maturitou či s vyšším vzděláním; bez maturity). Na výzvu reagovalo celkem cca 580 osob, z nichž bylo po úvodním kontaktu, ověření splnění kritérií a dokončení protokolu vyšetřeno 568 osob.

Všichni účastníci byli vyšetřeni komplexní baterií testů v rámci studie NANOK [53]. Baterie kromě testů VF obsahovala tyto metody: Mini‑Mental State Examination; MMSE [53,54], Montrealský kognitivní test; MoCA [55], Logická paměť [56], Číselný rozsah [57], SF [58], Test cesty; TMT [59], Kódování symbolů [57], Bostonský test pojmenování; BNT‑30 [60], Filadelfský test verbálního učení, czP(r)VLT‑12 [61], Pražský Stroopův test; PST [62], FF [51,63], Geriatrická škála deprese v 15položkové verzi; GDS‑15 [64,65] a Dotazník funkčního stavu FAQ [66]. Všichni administrátoři jsou psychologové či zkušení odborníci z řad pomáhajících profesí, kteří prošli v úvodu důkladným proškolením v administraci a skórování celé baterie projektu. Všichni měli k dispozici podrobný tištěný manuál a byla jim poskytována průběžná podpora při řešení konkrétních situací. Doba vyšetření se pohybovala od 75 min výše, max. doba vyšetření byla cca 3 hod (tento proband byl posléze pro nedostatečné výkony vyloučen z analyzovaného vzorku – naplnil níže uvedená vylučovací kritéria). Obvyklá doba trvání byla kolem 90 min. Všichni účastníci byli v úvodu vyšetření seznámeni s protokolem projektu a podepsali informovaný souhlas.

Z celkového počtu 568 vyšetřených osob ve věku 60–98 let, byla do konečné analýzy zařazena data od 540 osob. Základní sociodemografické charakteristiky finálního normativního souboru jsou uvedeny v tab. 1. V rámci původního souboru byla aplikována vylučovací kritéria na základě výkonů v testech, jež mohly být ovlivněny nedia­gnostikovanou kognitivní či afektivní poruchou. Tato vylučovací kritéria byla: výkon horší než 2 SD od průměru skupiny ve dvou kognitivních testech nebo v jednom kognitivním testu a zároveň ve skóru Geriatrické škále deprese (GDS‑15) či v Dotazníku funkčního stavu (FAQ) ≥ 10 bodů. Kognitivními testy určujícími inkluzivní kritéria do finálního souboru byl Test cesty (TMT, část B) a Filadelfský test verbálního učení czP(r)VLT‑12 (kompozitní skór – součet pokusů 1–5 (index kapacity učení) a oddálené vybavení (index retence)). Po aplikaci těchto kritérií se soubor zmenšil na 547 vyšetřených osob, nicméně u dalších sedmi osob byla zjištěna nekompletní data od administrátorů, finální soubor čítal 540 osob.

Tab. 1. Sociodemografické charakteristiky normativního souboru.
Sociodemografické charakteristiky normativního souboru.
Pozn.: Nižší vzdělání znamená vzdělání bez maturity, tj. 12 a méně let standardní doby studia. Vyšší vzdělání znamená alespoň dosaženou maturitu, tj. většinou 13 a více let standardní doby studia.

Testy VF byly administrovány jako součást neuropsychologické baterie.

Registrace výkonů byla prováděna na záznamovém archu metodou tužka‑papír, čas byl měřen pomocí stopek ve dvou nepřerušených půlminutových intervalech (0−30 s a 30−60 s). Instrukci k testu doporučujeme tuto: „Řeknu vám nějaké písmeno a pak po vás budu chtít, abyste řekl co nejvíce slov, která tím písmenem začínají, a to co nejrychleji. Např. kdybych řekl/a B, mohl byste jmenovat bílý, borůvka, bedna, … Nechci, abyste říkal/a vlastní jména jako Brno, Barbora apod. ani slova lišící se pouze koncovkou či příponou, jako borůvka, borůvkový apod. Máte k tomu nějaký dotaz? …Začněte, až vyslovím písmeno. Nejprve je to: K. Můžete teď.“ Po uplynutí 60 s. „Stop.“ Čas jsme měřili bezprostředně poté, co jsme řekli slovo „teď“. Po minutě řekneme: „Dost, děkuji“, poté: „Nyní budeme pokračovat s jiným písmenem. Bude to „P“. Máte opět minutu na to, abyste vymyslel/a co nejvíce slov, která začínají na „P“. Připravte se, pozor, teď!“ Po minutě řekneme: „Dost, děkuji“, poté: „Nyní budeme pokračovat s jiným písmenem. Bude to „S“. Máte opět minutu na to, abyste vymyslel(a) co nejvíce slov, která začínají na „S“. Připravte se, pozor, teď!“

Instrukce pro SF zní: „Řeknu vám kategorii a budu chtít, abyste řekl/a, jak nejrychleji můžete, všechny věci, které patří do této kategorie. Např., když řeknu „druhy oblečení“, vy můžete říct „košile“, „sukně“, nebo „ponožky“. Napadají vás další druhy oblečení?“

Ponechte zkoumané osobě až 20 s, aby řekla dvě odpovědi. Pokud neřekne alespoň dvě správné odpovědi, nabídněte dva příklady správných odpovědí („tričko“, „kabát“).

„Teď budu chtít, abyste jmenoval/a věci, které patří do jiné kategorie, jsou to zvířata. Budete mít 1 minutu. Řekněte mi všechna zvířata, která vás za jednu minutu napadnou. Připraven? Začněte.“

„Teď budu chtít, abyste jmenoval/a věci, které patří do jiné kategorie, je to zelenina. Budete mít 1 minutu. Řekněte mi všechny druhy zeleniny, které vás za jednu minutu napadnou. Připraven? Začněte.“ 

Skóry VF

Jak je již uvedeno výše, FF se skládá ze tří hlásek (K, P a S), SF z kategorií zvířata a zelenina. Zaznamenává se počet slov řečených ve dvou po sobě jdoucích, nepřerušovaných půlminutových intervalech. U každé hlásky či sémantické kategorie VF tak získáváme tři skóry: počet slov za první půlminutu, za druhou půlminutu a za minutu dohromady. Existuje tudíž pětkrát tři, tj. patnáct skórů VF. Za hlavní skóry reprezentující výkon VF lze považovat počet slov řečených za celou minutu dohromady. U SF pro jednotlivé kategorie zvlášť, u FF se jedná o počet slov řečených na jednotlivé hlásky (K + P + S) dohromady. Pokud není výslovně uvedeno jinak, pojednává se níže v části o statistické analýze a výsledcích o těchto třech hlavních skórech VF. Tj. za minutu počet slov začínajících dohromady na hlásky K + P + S, a počet slov za minutu zvlášť z kategorie zelenina a zvířata. 

Statistická analýza

Hlavním cílem statistického zpracování dat bylo stanovit percentilové normy pro skóry VF. V prvním kroku analýzy byl na celém souboru (n = 540) za použití Pearsonových korelací zjišťován vztah mezi výkonem ve VF a věkem, resp. počtem let vzdělání. Za použití t‑testu pro nezávislé výběry byl dále zjišťován rozdíl ve výkonu ve VF mezi muži a ženami. Smyslem zjišťování vlivu sociodemografických charakteristik na výkon ve VF bylo především rozdělení celého normativního souboru na podsoubory, v nichž je vliv těchto proměnných na výkon ve VF již minimální. Na základě této analýzy byl celý soubor před stanovením norem rozdělen do podskupin dvěma způsoby. Pro stanovení norem u skórů K + P + S a SF zvířata byl rozdělen podle věku a vzdělání celkem do šesti skupin (tab. 2). Pro výpočet norem skóru SF zelenina byl rozdělen podle věku a pohlaví také do šesti skupin (tab. 3). Pro maximalizaci počtu pozorování v jednotlivých podsouborech u rozdělení podle věku byla použita metoda vzájemně se překrývajících skupin (overlapping cells). Způsob, jak interpretovat výkon osoby např. ve věkovém pásmu 70–75 (analogicky 80–85) je stejný jako ve všech ostatních pásmech s překrývajícími se buňkami: určíme, kterému pásmu je proband věkem blíže, tj. jestliže by to byl proband ve věku 70 či 71 let, tak má větší smysl jej srovnávat se skupinou (60–75), protože je přibližně někde uprostřed této skupiny, zatímco ve srovnání se skupinou (70–85) by byl nejmladší (což by jej mohlo lehce favorizovat ve výkonu). Kdybychom však měli již probanda ve věku 72 let a více, tak by mělo smysl brát jako srovnávací rámec skupinu (70–85), protože se začne svým věkem více blížit do průměru této skupiny. Nicméně ani srovnat člověka ve věku 75 let se skupinou (60–75) není nepřijatelné, posuzovatel tím však dává jasně najevo, že na takovéhoto probanda volí nejpřísnější normu, kterou na něj lege artis může aplikovat a vice versa při opačném srovnání, tj. 70letého srovnávat se (70–85).

Tab. 2. Normy K + P + S a Zvířata.
Normy K + P + S a Zvířata.
M – průměr, SD – směrodatná odchylka.

Tab. 3. Normy Zelenina.
Normy Zelenina.
M – průměr, SD – směrodatná odchylka.

Percentily byly pro jednoduchost vyhodnocení také převedeny na T skóry. T skór má průměr 50 a SD = 10, tj. 40 T je ekvivalentem –1 SD, 35 T je ekvivalentem –1,5 SD a 30 T je ekvivalentem –2 SD, což autorům této studie přišlo jako jednoduchá technika pro uchopení vzdálenosti od průměru, a také je to běžné v psychologické praxi. Následně byl zjišťován za použití Pearsonových korelací vztah mezi výkonem ve VF a vybranými testy kognitivních funkcí (konkrétně s TMT, BNT‑30 a czP(r)VLT‑12) a konečně také vztah mezi jednotlivými skóry VF. 

Výsledky

Vliv sociodemografických charakteristik na výkon ve VF

Věk má statisticky významný (p < 0,001) slabý až středně silný vliv na výkon ve VF, reprezentovaný součtem skórů K + P + S (r = –0,236), zvířata (r = –0,359) a zelenina (r = –0,264). Rovněž počet let vzdělání ovlivňuje slabě až středně silně výkon ve VF. Statisticky významně (p < 0,001) však pouze ve skórech K + P + S (r = 0,297) a zvířata (r = 0,357). Mezi věkem a skórem zelenina vztah není signifikantní (r = 0,028; p = 0,523).

Skór zelenina je dále jediný z hlavních skórů VF, v němž existuje signifikantní (p < 0,001) rozdíl mezi muži a ženami. Konkrétně velikost účinku (effect size) je 0,453, tj. rozdíl mezi skupinami je mírný až střední. Trend ke statisticky významnému rozdílu existuje také ve skóru K + P + S (p = 0,051). Velikost účinku je pouhých 0,169.

Normy hlavních skórů VF

V tab. 2 a 3 jsou uvedeny percentilové normy pro hlavní skóry VF. Normy pro zbývající skóry VF, tj. pro jednotlivé hlásky písmena FF a pro půlminutové intervaly jsou uvedeny v elektronické příloze tohoto článku. Časová analýza za použití Wilcoxonova znaménkového testu pro párové výběry ukázala, že v první půlminutě je generace slov statisticky významně (p < 0,001; velikost účinku r > 0,7) vyšší než v druhé půlminutě u všech použitých hlásek i sémantických kategorií.

Korelace skórů VF mezi sebou a s dalšími kognitivními testy

V tab. 4 je uvedena matice Pearsonových korelací reprezentující sílu vztahu hlavních skórů VF mezi sebou a také jejich vztahu k dalším kognitivním testům. Všechny uvedené korelační koeficienty jsou statisticky významné na hladině p < 0,001. 

Tab. 4. Korelace skórů VF mezi sebou a s dalšími kognitivními testy.
Korelace skórů VF mezi sebou a s dalšími kognitivními testy.
Pozn.: Všechny uvedené korelace jsou signifikantní na hladině p < 0,001. TMT-A – Test cesty, část A; TMT-B – Test cesty, část B; BNT-30 – 30položková verze Bostonského testu pojmenování; czP(r)VLT-12_T1–T5 – česká verze Filadelfského testu verbálního učení, celkový skór (součet pokusů 1–5); czP(r)VLT-12_T9 – česká verze Filadelfského testu verbálního učení, oddálené vybavení po 20 min.

Diskuze

Výsledky naší studie přinášejí v České republice první normativní data pro starší věkové kategorie v jedné z nejrozšířenějších zkoušek kognitivní výkonnosti – VF na rozsáhlém souboru z české populace. U FF jsme potvrdili významný vliv vzdělání a věku, což je v souladu se zahraničními studiemi [33–36,38–42,46]. Naopak jsme nepotvrdili vliv pohlaví na výkonnost v testech FF. Časová analýza přináší potvrzení toho, že v první půlminutě je generace slov vyšší než v druhé půlminutě u všech použitých hlásek. Jednotlivé hlásky K, P, S se od sebe lišily pouze mírně, nejvíce slov osoby generovaly od hlásky K, přestože byla na počátku zkoušky. Charakteristiky výkonů v produkci slov od jednotlivých hlásek se od sebe však liší pouze minimálně.

Souběžnou validitu jsme zjišťovali pomocí korelace testu VF s dalšími kognitivními testy v neuropsychologické baterii.

FF korelovala s testy exekutivních funkcí a paměti středně silně. Domníváme se, že středně silná korelace s TMT‑B a testem paměti czP(r)VLT‑12 může být způsobena tím, že FF je považována stejně jako TMT‑B za test převážně exekutivních funkcí, a tedy aktivuje funkce frontální oblasti [11,12,67,68]. Exekutivní funkce však mají vliv i na výkonnost v testech paměti, zejména zhoršují výbavnost materiálu a strategii jeho uložení [69,70]. Předpokládáme ale, že FF aktivuje více složek kognice, a zachycuje tedy i oblasti kognice jinými zkouškami v naší baterii
nepostihnuté.

V SF v kategorii zvířata jsme nalezli silný vliv věku a vzdělání na výkon v testu podobně jako Tombaugh [39]. Naopak vliv pohlaví se neukázal být klíčovým, což je v souladu s jinou studií [45]. V časové analýze prokazujeme, že značně vyšší výkon v SF zvířata mají zdravé osoby v prvních 30 s testu.

SF kategorie zvířata silně korelovala s TMT‑B a středně silně, podobně jako FF, s testem paměti czP(r)VLT‑12. Domníváme se, že výkonnost v testu SF zvířata je charakterizována schopností úspěšně přepínat mezi subkategoriemi [71], a je tedy podmíněna kromě uchované sémantické paměti (vazba s czP(r)VLT‑12) i exekutivními funkcemi v oblasti schopnosti změny nastavení stejně, jako je tomu v TMT‑B.

SF zelenina se významně lišila od všech ostatních zkoušek VF zejména v tom, že jsme zde neprokázali významný efekt vzdělání. Naopak zde byl potvrzen významný vliv věku a pohlaví na výkon v testu. Ženy v testu skórovaly lépe než muži, což je v souladu s jinou studií [72]. Vzhledem k nejnižšímu počtu v průměru produkovaných slov ze všech kategorií VF předpokládáme, že kategorie zelenina byla nejobtížnější. SF zelenina měla rovněž nejvyšší rozdíl mezi první a druhou polovinou zkoušky, kdy v první polovině byl výkon významně vyšší než v polovině druhé.

SF zelenina nejvíce korelovala, a sice středně silně, s testem paměti czP(r)VLT‑12. Vzhledem k tomu, že je zelenina sémantickou kategorií s omezeným počtem zástupců, je zde tedy znemožněno mnohonásobné přepínání mezi subkategoriemi. Domníváme se proto, že by zelenina mohla být zkouškou, která je na rozdíl od ostatních použitých zkoušek VF více definována paměťovými než exekutivními funkcemi (tedy čistěji funkcí mediálních temporálních než frontálních oblastí). Díky tomu může zelenina sloužit jako citlivější zkouška k identifikaci osob s časným narušením funkcí mediálních temporálních oblastí než zvířata a FF. Tuto hypotézu však bude potřeba nejprve ověřit dalším výzkumem.

Mezi omezení naší studie patří způsob výběru osob do normativní skupiny. Postupovali jsme způsobem užitým i v jiných studiích, kdy jsme zařadili všechny osoby splňující základní kritéria výběru, mezi které jsme zařadili i výkonnost ve vybraných citlivých zkouškách pro identifikaci kognitivního deficitu. Nemáme ovšem k dispozici bio­markery zdravých osob, a lze tedy předpokládat, že do naší studie mohly být zařazeny i osoby, které trpí preklinickou fází ně­kte­rého z neurodegenerativních onemocnění, dosud však nerozpoznaného. Na druhé straně vzhledem k tomu, že výkon v testech paměti je prozatím nejlepším prediktorem rozvoje kognitivního deficitu u zdravých osob [73] a bio­markery dosud nemají ani srovnatelnou citlivost v predikci konverze do demence, domníváme se, že jsme použitým způsobem dostatečně eliminovali riziko chybné klasifikace osob zařazených do normativní studie.

Výsledky naší studie prokazují statisticky významný vliv věku na všechny uvedené zkoušky VF. Fonemická VF a kategorie zvířata jsou závislé i na výši vzdělání, v kategorii zelenina není výkonnost závislá na vzdělání, ale na pohlaví. Prezentované normy pro všechny zkoušky VF mohou podle našeho názoru významně přispět k hodnocení kognitivní výkonnosti v klinické praxi.

Studie byla podpořena grantem IGA MZ ČR NT13145-4/2012, projektem „Národní ústav duševního zdraví (NUDZ)“, registrační číslo ED2.1.00/03.0078, financovaným z Evropského fondu regionálního rozvoje, výzkumným záměrem PRVOUK‑P26/LF1/4 a projektem Grantové agentury Univerzity Karlovy GAUK 579412.

Velké poděkování patří jednak všem seniorům ochotným ke spolupráci na studii NANOK a dále všem spolupracujícím administrátorům: Erice Panenkové, Lence Freharové, Barboře Mňukové, Nině Štěrbové, Lucii Pražákové, Olze Kozické, Zuzaně Velkoborské, Tomáši Vilimovskému, Iloně Sedmidubské, Pavle Davidové, Lence Šreibrové, Vlastě Novotné, Lence Málkové, Markétě Holubové, Evě Biedermanové, Kláře Patlichové, Michaele Viktorinové, Janě Pečinkové, Adéle Jenčové, Tomáši Váchovi a Martinu Vaverkovi.

Autoři deklarují, že v souvislosti s předmětem studie nemají žádné komerční zájmy.

Redakční rada potvrzuje, že rukopis práce splnil ICMJE kritéria pro publikace zasílané do biomedicínských časopisů.

Přijato k recenzi: 6. 1. 2015

Přijato do tisku: 27. 2. 2015

Mgr. Tomáš Nikolai

Neurologická klinika a Centrum klinických neurověd

1. LF UK a VFN v Praze

Kateřinská 30

128 21 Praha 2

e-mail: nikolai@centrum.cz


Zdroje

1. Strauss E, Sherman E, Spreen O. A Compendium of Neuropsychological Tests: Administration, Norms, and Commentary. 3rd ed. New York: Oxford University Press 2006.

2. Preiss M. Verbální fluence, metoda vyšetření poškození mozku u dětí a dospělých. Csl Psychol 1997; 3: 244– 249.

3. Topinková E, Jirák R, Kožený J. Krátká neurokognitivní baterie pro screening demence v klinické praxi: Sedmiminutový screeningový test. Neurol Praxi 2002; 6: 323– 328. [online]. Dostupné z URL:   http:/ / www.neurologiepropraxi.cz/ pdfs/ neu/ 2002/ 06/10.pdf.

4. Tůma I, Lenderová Z. Schizofrenie a kognitivní funkce. Psychiatrie 2001; 4: 275– 282.

5. Kučerová H, Přikryl R, Čéšková E, Kašpárek T, Perna M. Vlastní zkušenosti s vyšetřováním kognitivních funkcí u depresivní poruchy (Část 2.). Čes a Slov Psychiat 2003; 99: 442– 445.

6. Preiss M, Bartoš A, Čermáková R, Nondek M, Benešová M, Rodriguez M et al. Neuropsychologická baterie Psychiatrického centra Praha, Klinické vyšetření základních kognitivních funkcí. 3. přepracované vydání. Praha: Psychiatrické centrum Praha 2012.

7. Weintraub S, Salmon D, Mercaldo N, Ferris S, Graff‑ Radford NR, Chui H et al. The Alzheimer’s Disease Centers‘ Uniform Data Set (UDS): the neuropsychologic test bat­tery. Alzheimer Dis Assoc Disord 2009; 23(2): 91– 101. doi: 10.1097/ WAD.0b013e318191c7dd.

8. Delis D, Kaplan E, Kramer J. Delis‑ Kaplan executive function system. San Antonio, TX: The Psychological Corporation 2001.

9. Greenaway MC, Smith GE, Tangalos EG, Geda YE, Ivnik RJ. Mayo older americans normative studies: factor analysis of an expanded neuropsychological battery. Clin Neuropsychol 2009; 23(1): 7– 20. doi: 10.1080/ 13854040801891686.

10. Lezak M, Howieson D, Bigler E, Tranel D. Neuropsychological assessment. 5th ed. New York: Oxford University Press 2012.

11. Baldo J V, Schwartz S, Wilkins D, Dronkers NF. Role of frontal versus temporal cortex in verbal fluency as revealed by voxel‑based lesion symp­tom mapping. J Int Neuropsychol Soc 2006; 12(6): 896– 900.

12. Birn RM, Kenworthy L, Case L, Caravella R, Jones TB, Bandettini PA et al. Neural systems supporting lexical search guided by letter and semantic category cues: a self‑ paced overt response fMRI study of verbal fluency. Neuroimage 2010; 49(1): 1099– 1107. doi: 10.1016/ j.neuroimage.2009.07.036.

13. Dick AS, Bernal B, Tremblay P. The Language Connectome: New Pathways, New Concepts. Neuroscientist 2014; 20(5): 453– 467. doi: 10.1177/ 1073858413513502.

14. Duncan J, Owen AM. Common regions of the human frontal lobe recruited by diverse cognitive demands. Trends Neurosci 2000; 23(10): 475– 483.

15. Tekin S, Cummings JL. Frontal‑ subcortical neuronal circuits and clinical neuropsychiatry: an update. J Psychosom Res 2002; 53(2): 647– 654.

16. Yuan P, Raz N. Prefrontal cortex and executive functions in healthy adults: a meta‑analysis of structural neuroimaging studies. Neurosci Biobehav Rev 2014; 42: 180– 192. doi: 10.1016/ j.neubio­rev.2014.02.005.

17. Green J, McDonald WM, Vitek JL, Evatt M, Freeman A, Haber M et al. Cognitive impairments in advanced PD without dementia. Neurology 2002; 59(9): 1320– 1324.

18. Jessen F, Amariglio RE, van Boxtel M, Breteler M, Ceccaldi M, Chételat G et al. A conceptual framework for research on subjective cognitive decline in preclinical Alzheimer’s disease. Alzheimers Dement 2014; 10(6): 844– 852. doi: 10.1016/ j.jalz.2014.01.001.

19. Levy G, Jacobs DM, Tang MX, Côté LJ, Louis ED, Alfaro B et al. Memory and executive function impairment predict dementia in Parkinson’s disease. Mov Disord 2002; 17(6): 1221– 1226.

20. Palmer K, Bäckman L, Winblad B, Fratiglioni L. Detection of Alzheimer’s disease and dementia in the preclinical phase: population-based cohort study. BMJ 2003; 326(7383): 245.

21. Santangelo G, Trojano L, Vitale C, Ianniciello M, Amboni M, Grossi D et al. A neuropsychological longitudinal study in Parkinson’s patients with and without hallucinations. Mov Disord 2007; 22(16): 2418– 2425.

22. Libon DJ, McMillan C, Gunawardena D, Powers C, Massimo L, Khan A et al. Neurocognitive contributions to verbal fluency deficits in frontotemporal lobar degeneration. Neurology 2009; 73(7): 535– 542. doi: 10.1212/ WNL.0b013e3181b2a4f5.

23. Rascovsky K, Salmon DP, Ho GJ, Galasko D, Peavy GM, Hansen LA et al. Cognitive profiles differ in autopsy‑ confirmed frontotemporal dementia and AD. Neurology 2002; 58(12): 1801– 1808.

24. Clark LJ, Gatz M, Zheng L, Chen YL, McCleary C, Mack WJ. Longitudinal verbal fluency in normal aging, preclinical, and prevalent Alzheimer’s disease. Am J Alzheimers Dis Other Demen 2009; 24(6): 461– 468. doi: 10.1177/ 1533317509345154.

25. Murphy KJ, Rich JB, Troyer AK. Verbal fluency patterns in amnestic mild cognitive impairment are characteristic of Alzheimer’s type dementia. J Int Neuropsychol Soc 2006; 12(4): 570– 574.

26. Rinehardt E, Eichstaedt K, Schinka JA, Loewenstein DA, Mattingly M, Fils J et al. Verbal fluency patterns in mild cognitive impairment and Alzheimer’s disease. Dement Geriatr Cogn Disord 2014; 38(1– 2): 1– 9. doi: 10.1159/ 000355558.

27. Rogers TT, Ivanoiu A, Patterson K, Hodges JR. Semantic memory in Alzheimer’s disease and the frontotemporal dementias: a longitudinal study of 236 patients. Neuropsychology 2006; 20(3): 319– 335.

28. Henry JD, Crawford JR, Phillips LH. A meta‑analytic review of verbal fluency deficits in Huntington’s disease. Neuropsychology 2005; 19(2): 243– 252.

29. Jacobs DM, Marder K, Côté LJ, Sano M, Stern Y, Mayeux R. Neuropsychological characteristics of preclinical dementia in Parkinson’s disease. Neurology 1995; 45(9): 1691– 1696.

30. Larsson MU, Almkvist O, Luszcz MA, Wahlin TB. Phonemic fluency deficits in asymp­tomatic gene car­riers for Huntington’s disease. Neuropsychology 2008; 22(5): 596– 605. doi: 10.1037/ 0894‑ 4105.22.5.596.

31. Gorno‑ Tempini ML, Dronkers NF, Rankin KP, Ogar JM, Phengrasamy L, Rosen HJ et al. Cognition and anatomy in three variants of primary progressive aphasia. Ann Neurol 2004; 55: 335– 346.

32. Wilson SM, Brambati SM, Henry RG, Handwerker DA, Agosta F, Miller BL et al. The neural basis of surface dyslexia in semantic dementia. Brain 2009; 132(1): 71– 86. doi: 10.1093/ brain/ awn300.

33. Elias MF, Elias PK, D’Agostino RB, Silbershatz H, Wolf PA. Role of age, education, and gender on cognitive performance in the Framingham Heart Study: com­munity‑based norms. Exp Aging Res 1997; 23(3): 201– 235.

34. Gladsjo JA, Schuman CC, Evans JD, Peavy GM, Miller SW, Heaton RK. Norms for letter and category fluency: demographic corrections for age, education, and ethnicity. Assessment 1999; 6(2): 147– 178.

35. Kavé G. Phonemic fluency, semantic fluency, and difference scores: normative data for adult Hebrew speakers. J Clin Exp Neuropsychol 2005; 27(6): 690– 699.

36. Kosmidis MH, Vlahou CH, Panagiotaki P, Kios­seoglou G. The verbal fluency task in the Greek population: normative data, and clustering and switching strategies. J Int Neuropsychol Soc 2004; 10(2): 164– 172.

37. Loonstra AS, Tarlow AR, Sellers AH. COWAT metanorms across age, education and gender. Appl Neuropsychol 2001; 8(8): 161– 166.

38. Lucas JA, Ivnik RJ, Smith GE, Ferman TJ, Willis FB, Petersen RC. Mayo’s Older African Americans Normative Studies: norms for Boston Naming Test, Controlled Oral Word Association, Category Fluency, Animal Naming, Token Test, WRAT‑ 3 Reading, Trail Making Test, Stroop Test, and Judgment of Line Orientation. Clin Neuropsychol 2005; 19(2): 243– 269.

39. Tombaugh TN, Kozak J, Rees L. Normative data stratified by age and education for two measures of verbal fluency: FAS and animal naming. Arch Clin Neuropsychol 1999; 14(2): 167– 177.

40. Troyer AK. Normative data for clustering and switch­ing on verbal fluency tasks. J Clin Exp Neuropsychol 2000; 22(3): 370– 378.

41. Acevedo A, Loewenstein DA, Barker WW, Harwood DG, Luis C, Bravo M et al. Category fluency test: normative data for English‑  and Spanish‑ speaking elderly. J Int Neuropsychol Soc 2000; 6(7): 760– 769.

42. Fillenbaum GG, Heyman A, Huber MS, Ganguli M, Unverzagt FW. Performance of elderly African American and White community residents on the CERAD Neuropsychological Battery. J Int Neuropsychol Soc 2001; 7(4): 502– 509.

43. Harrison JE, Buxton P, Husain M, Wise R. Short test of semantic and phonological fluency: normal performance, validity and test‑ retest reliability. Br J Clin Psychol 2000; 39 (2): 181– 191.

44. Lucas JA, Ivnik RJ, Smith GE, Bohac DL, Tangalos EG, Graff‑ Radford NR et al. Mayo’s older Americans normative studies: category fluency norms. J Clin Exp Neuropsychol 1998; 20(2): 194– 200.

45. Brickman AM, Paul RH, Cohen RA, Williams LM, Mac­Gregor KL, Jefferson AL et al. Category and letter verbal fluency across the adult lifespan: relationship to EEG theta power. Arch Clin Neuropsychol 2005; 20(5): 561– 573.

46. Crossley M, D’Arcy C, Rawson NS. Letter and category fluency in community‑ dwelling Canadian seniors: a comparison of normal participants to those with dementia of the Alzheimer or vascular type. J Clin Exp Neuropsychol 1997; 19(1): 52– 62.

47. Mathuranath PS, George A, Cherian PJ, Alexander A, Sarma SG, Sarma PS. Effects of age, education and gender on verbal fluency. J Clin Exp Neuropsychol 2003; 25(8): 1057– 1064.

48. Ravdin LD, Katzen HL, Agrawal P, Relkin NR. Letter and semantic fluency in older adults: effects of mild depressive symp­toms and age‑ stratified normative data. Clin Neuropsychol 2003; 17(2): 195– 202.

49. Preiss M. Příspěvek k validizaci testu verbální fluence a kognitivního odhadu v běžné populaci. Psychiatrie 2002; 6 (Suppl 4): 28– 34.

50. Preiss M, Kalivodová Z, Kundrátová I, Mrlinová L, Ježková T, Kubů M et al. Test verbální fluence –  vodítka pro všeobecnou dospělou populaci. Psychiatrie 2002; 6(2): 74– 77.

51. Kopeček M, Kuncová A. Efekt nácviku testu generování slov a testování alternativní verze. Pilotní studie. Psychiatrie 2006; 10(4): 211– 215.

52. Štorková P, Preiss M, Kopeček M. Efekt nácviku testu verbální fluence a testování alternativní verze. Pilotní studie. Psychiatrie 2004; 8: 187– 190.

53. Štěpánková H, Nikolai T, Lukavský J, Bezdíček O, Vrajová M, Kopečel M. Mini‑Mental State Examination –  česká normativní studie. Cesk Slov Neurol N 2015; 78/ 111(1): 57– 63.

54. Folstein MF, Folstein SE, McHugh PR. “Mini‑mental state”. A practical method for grading the cognitive state of patients for the clinician. J Psychiatr Res 1975; 12(3): 189– 198.

55. Nasreddine ZS, Phillips NA, Bédirian V, Charbon­neau S, Whitehead V, Collin I et al. The Montreal Cognitive Assessment, MoCA: a brief screening tool for mild cognitive impairment. J Am Geriatr Soc 2005; 53(4): 695– 699.

56. Wechsler D. Wechsler Memory Scale. 3rd ed. San Antonio, TX: Psychological Corporation 1997.

57. Wechsler D. Wechsler Adult Intelligence Scale. 3rd ed. San Antonio, TX: Psychological Corporation 1997.

58. Kopeček M, Štěpánková H. Test‑ retest minutové slovní produkce v kategorii zvířata a kratších variant u seniorů. Psychiatrie 2009; 13(2– 3): 61– 65.

59. Bezdicek O, Motak L, Axelrod BN, Preiss M, Nikolai T, Vyhnalek M et al. Czech version of the Trail Making Test: normative data and clinical utility. Arch Clin Neuropsychol 2012; 27(8): 906– 914. doi: 10.1093/ arclin/ acs084.

60. Mack WJ, Freed DM, Williams BW, Henderson VW. Boston Naming Test: shortened versions for use in Alzheimer’s disease. J Gerontol 1992; 47(3): 154– 158.

61. Bezdicek O, Libon DJ, Stepankova H, Panenkova E, Lukavsky J, Garrett KD et al. Development, validity, and normative data study for the 12- word Philadelphia Verbal Learning Test [czP(r)VLT‑ 12. among older and very old Czech adults. Clin Neuropsychol 2014; 28(7): 1162– 1181. doi: 10.1080/ 13854046.2014.952666.

62. Regard M. Cognitive rigidity and flexibility: A neuropsychological study. University of Victoria: unpublished Ph.D. dissertation 1981.

63. Bush S. Neurosensory Center Comprehensive Examination for Aphasia. In: Kreutzer J, DeLuca J, Caplan B (eds). Encyclopedia of Clinical Neuropsychology. New York: Springer 2011: 1772– 1773.

64. Nikolai T, Vyhnálek M, Štěpánková H, Horáková K. Neuropsychologická dia­gnostika kognitivního deficitu u Alzheimerovy choroby. Praha: Psychiatrické centrum Praha 2013.

65. Sheikh JI, Yesavage JA. Geriatric Depression Scale (GDS): recent evidence and development of a shorter version. Clin Gerontol 1986; 5(1– 2): 165– 173.

66. Bezdíček O, Lukavský J, Preiss M. Validizační studie české verze dotazníku FAQ. Cesk Slov Neurol N 2011; 74/ 107(1): 36– 42.

67. Gourovitch ML, Kirkby BS, Goldberg TE, Weinberger DR, Gold JM, Esposito G et al. A comparison of rCBF patterns during letter and semantic fluency. Neuropsychology 2000; 14(3): 353– 360.

68. Henry JD, Crawford JR. A meta‑analytic review of verbal fluency performance following focal cortical lesions. Neuropsychology 2004; 18(2): 284– 295.

69. Duff K, Schoenberg MR, Scott JG, Adams RL. The relationship between executive functioning and verbal and visual learning and memory. Arch Clin Neuropsychol 2005; 20(1): 111– 122.

70. Higginson CI, King DS, Levine D, Wheelock VL, Khamphay NO, Sigvardt KA. The relationship between executive function and verbal memory in Parkinson’s disease. Brain Cogn 2003; 52(3): 343– 352.

71. Troyer AK, Moscovitch M, Winocur G, Alexander MP, Stuss D. Clustering and switching on verbal fluency: the effects of focal frontal‑  and temporal‑ lobe lesions. Neuropsychologia 1998; 36(3): 499– 504.

72. Marra C, Ferraccioli M, Gainotti G. Gender‑related dis­sociations of categorical fluency in normal subjects and in subjects with Alzheimer’s disease. Neuropsychology 2007; 21(2): 207– 211.

73. Richard E, Schmand BA, Eikelenboom P, Van Gool WA. MRI and cerebrospinal fluid bio­markers for predicting progression to Alzheimer’s disease in patients with mild cognitive impairment: a dia­gnostic accuracy study. BMJ Open 2013; 3(6): e002541. doi: 10.1136/ bmjopen‑ 2012‑ 002541.

Štítky
Detská neurológia Neurochirurgia Neurológia
Článek Erratum

Článok vyšiel v časopise

Česká a slovenská neurologie a neurochirurgie

Číslo 3

2015 Číslo 3
Najčítanejšie tento týždeň
Najčítanejšie v tomto čísle
Kurzy

Zvýšte si kvalifikáciu online z pohodlia domova

Aktuální možnosti diagnostiky a léčby litiáz
nový kurz
Autori: MUDr. Tomáš Ürge, PhD.

Všetky kurzy
Prihlásenie
Zabudnuté heslo

Zadajte e-mailovú adresu, s ktorou ste vytvárali účet. Budú Vám na ňu zasielané informácie k nastaveniu nového hesla.

Prihlásenie

Nemáte účet?  Registrujte sa

#ADS_BOTTOM_SCRIPTS#