Token test – validační studie české verze u osob vyššího věku a pacientů s neurodegenerativním onemocněním mozku

Token Test – Validation Study in Older Czech Adults and Patients with Neurodegenerative Diseases

Aim:
The study examines psychometric properties of the Czech version of the Token Test (TT) on a population of Czech seniors and individuals with neurodegenerative brain diseases.

Participants and methods:
The study included 96 individuals (mean age 67.7 years), of whom 43 were healthy controls (HC), 23 had incipient Alzheimer’s disease or mild cognitive impairment due to Alzheimer’s disease (AD + MCI), and 30 had Parkinson’s disease (PD).

Results:
Significant differences in TT performance were found between the sample groups HC and AD + MCI (p < 0.001) and between PD and AD + MCI (p < 0.001). The highest convergent validity of TT was with the immediate reproduction of the Rey-Osterrieth complex figure (ρ = 0.524; p < 0.001), the Boston Naming Test (ρ = 0.498; p < 0.001) and the Mississippi Aphasia Screening Test (ρ = 0.486; p <0.001). ROC analysis showed TT to discriminate with high precision for AD + MCI (AUC = 0.826), not for PN (AUC = 0.826).

Conclusion:
TT does not selectively evaluate the language function as such but it is selective for neurogenic communication disorders in patients with neurodegenerative brain disease.

Key words:
Token Test – reliability and validity – Alzheimer’s disease – Parkinson’s disease – mild cognitive impairment

The authors declare they have no potential conflicts of interest concerning drugs, products, or services used in the study.

The Editorial Board declares that the manuscript met the ICMJE “uniform requirements” for biomedical papers.

Autoři: S. Brustmannová ¹; L. Anderkova ¹; I. Rektorová ^1,2; Z. Balážová ¹; L. Brabenec ¹; N. Elfmarková--Němcová ¹
Působiště autorů: Výzkumná skupina Aplikované neurovědy, CEITEC – Středoevropský technologický institut, MU, Brno ¹; 1. neurologická klinika LF MU a FN u sv. Anny v Brně ²
Vyšlo v časopise: Cesk Slov Neurol N 2017; 80/113(3): 300-306
Kategorie: Původní práce
doi: https://doi.org/10.14735/amcsnn2017300

Výsledky tohoto výzkumu byly získány v rámci projektu CEITEC 2020 (LQ1601) za finančního přispění Ministerstva školství, mládeže a tělovýchovy České republiky v rámci účelové podpory z prostředků Národního programu udržitelnosti II a JPND grantem APGeM.

Souhrn

Cíl:
Cílem studie je ověření psychometrických vlastností Token testu (TT) na populaci českých seniorů a jedinců s neurodegenerativním onemocněním mozku.

Soubor a metodika:
Výzkumný soubor tvořilo celkem 96 osob (průměrný věk 67,7 let). Soubor sestával ze 43 zdravých kontrol (ZK), 23 osob s počínající Alzheimerovou demencí nebo s mírnou kognitivní poruchou při Alzheimerově nemoci (AD + MKP) a 30 osob s Parkinsonovou nemocí (PN).

Výsledky:
Významné rozdíly ve výkonu v TT byly nalezeny mezi skupinami ZK a AD + MKP (p < 0,001) a také mezi PN a AD + MKP (p < 0,001). Nejvyšší souběžná validita TT se ukázala s bezprostřední reprodukcí Reyovy-Osterriethovy komplexní figury (ρ = 0,524; p < 0,001), Bostonským testem pojmenování (ρ = 0,498; p < 0,001) a Mississippským skríningovým testem afázie (ρ = 0,486; p < 0,001). ROC analýza TT svědčí o dobré rozlišovací schopnosti u skupiny AD + MKP (AUC = 0,826), ale nikoli u PN (AUC = 0,555).

Závěr:
TT nehodnotí selektivně fatické funkce, avšak je selektivní vůči neurogenním poruchám komunikace u pacientů s neurodegenerativním onemocněním mozku.

Klíčová slova:
Token test – reliabilita a validita – Alzheimerova nemoc – Parkinsonova nemoc – mírná kognitivní porucha

Úvod

Fatické funkce patří mezi základní domény neuropsychologického vyšetření pro svoji kritickou účast na komunikační schopnosti a verbálním učení [1]. Token test (TT) je diagnostická metoda, která umožňuje zachytit deficit řečových schopností. Vznikl v roce 1962 a jeho autory jsou E. DeRenzi a L. A. Vignolo [2]. TT je určen ke zjišťování úrovně porozumění slyšené řeči, pracovní paměti [3,4]. Zároveň jsou při provádění TT zapojeny exekutivní funkce, např. schopnost adekvátně potlačit automaticky přicházející rušivé stimuly [5]. Výkon v TT však koreluje pozitivně nejen s metodami hodnotícími receptivní složku řeči (schopnost vnímat a porozumět mluvenému projevu), ale také s metodami hodnotícími výkon produkce řeči [6]. TT je schopen odhalit ne zcela zjevné postižení řečových funkcí i u pacientů s mozkovým poškozením, jejichž jiná postižení mohou maskovat přítomnou afázii [7], a lze jej také využít jako vodítko pro odlišení pravostranného od levostranného hemisferálního poškození [8]. Je vhodný jak pro dospělou, tak i dětskou populaci [1,9,10]. Nejčastěji užívaná verze TT [11], revidovaná jedním z autorů původní verze testu [2], byla již adaptována v mnoha zahraničních verzích [8,9,11– 14]. V České republice je TT standardizován pro děti [10]. Paralelní verze pro opakovaná měření není dostupná, nicméně se uvádí, že vliv nácviku TT je minimální [7], a opakovaná měření v průběhu terapie jsou dle Preisse možné a vhodné [15].

Cílem tohoto příspěvku je ověření kvality psychometrických vlastností české verze metody TT pro dospělé na populaci zdravých seniorů, osob s mírnou kognitivní poruchou, Alzheimerovou nemocí a Parkinsonovou nemocí. Součástí příspěvku jsou závěrem i orientační normativní údaje.

Soubor a metodika

Soubor

TT byl administrován v rámci neuropsychologické baterie druhého běhu studie zkoumající preklinické prediktory demence. Nábor participantů začal na jaře 2016, kdy prostřednictvím e-mailové a telefonické komunikace byly využity kontakty z předchozího běhu projektu (2015). Všichni participanti podstoupili vyšetření dobrovolně a podepsali informovaný souhlas s účastí ve studii, která byla schválena etickou komisí. Výzkumný soubor tvořilo celkem 96 osob (45,8 % mužů a 54,2 % žen) ve věku od 45 do 88 let (M = 67,7 let). Soubor sestával ze 43 (45 %) zdravých kontrol (ZK), 23 osob (24 %) s počínající Alzheimerovou demencí (n = 11; 6,9 %) nebo s mírnou kognitivní poruchou (n = 12; 7,5%) při Alzheimerově nemoci (AD + MKP) a 30 osob (31 %) s Parkinsonovou nemocí (PN), kterou tvořili jak pacienti s MKP (n = 11; 37 %), tak i pacienti s PN a normálním kognitivním výkonem (n = 19; 63 %). Pacienti byli sledováni v Centru pro kognitivní poruchy při 1. neurologické klinice LF MU a FN u sv. Anny v Brně a klinická diagnóza pravděpodobné PN [16], PN-MKP [17], pravděpodobné AN [18] a pravděpodobné AN-MKP [19] byla stanovena na základě klinických diagnostických kritérií. U AD a MKP byla kritériem atrofie hipokampu zobrazená pomocí magnetické rezonance (MR). Diagnóza MKP byla přidělena těm osobám, které vykazovaly oslabení celkové kognitivní úrovně nepředstavující ještě stupeň demence, subjektivní stížnosti na narušené kognitivní funkce a zároveň objektivní deficit v jedné nebo více ze sledovaných kognitivních domén (– 1,5 SD pod normou ve dvou testech v rámci jedné domény), bez narušení aktivit denního života. Kontrolní skupina (zdravé kontroly; ZK) byla vyšetřena MR a stejnou neuropsychologickou baterií jako ostatní klinické skupiny. Vzdělání bylo u výzkumného souboru sledováno jednak dle jeho délky trvání, ale také dle stupně nejvyššího dosaženého vzdělání: základní (ZŠ; 4,2 %), učiliště-výuční list (VL; 10,4 %), středoškolské (SŠ; 44,8 %) a vysokoškolské (VŠ; 40,6 %). Popisné charakteristiky výzkumného souboru jsou uvedeny v tab. 1.

Neuropsychologické vyšetření

V rámci neuropsychologické baterie (tab. 2) byla zjišťována celková kognitivní úroveň vyšetřovaného pomocí Mini-Mental State Examination (MMSE) [20], dále byl použit subtest Siluety z Baterie testů vizuálního vnímání předmětů a prostoru (VOSP) [21], Reyova-Osterriethova komplexní figura (ROCF) [22], subtest Seznam slov z Wechslerovy škály paměti (WMS-III Word list) [23], Test cesty (TMT) [15], Stroopův test [24], testy lexikální (NKP) i sémantické (zvířata) verbální fluence (VFT) [25], Test kresby hodin (CDT), Mississippský skríningový test afázie (MAST) [26], Bostonský test pojmenování (BNT-30) [27], Token test (TT) [28], Dotazník funkčního stavu (FAQ) ke zjišťování soběstačnosti [29] a Geriatrická škála deprese (GDS) [30].

**Tab. 2. Seznam metod a souvisejících domén.**

Token test

Testový materiál TT obsahuje 20 barevných známek (tokens) pěti barev (bílé, žluté, červené, zelené a černé), dvou tvarů (kolečka, čtverečky) a dvou velikostí (velké, malé), jež se před vyšetřovaného předkládají ve standardizovaném pořádku (obr. 1). Celková administrace testu trvá přibližně 8– 10 min. Úkolem testovaného je bezchybně provádět slyšené instrukce v časovém limitu 5 s. Ty spočívají v přesouvání či v dotýkání se barevných známek. Položky testu jsou členěny do šesti sekcí (I– VI) a jsou řazeny se vzrůstající obtížností („Dotkněte se kolečka.“/ „Po dotknutí žlutého kolečka se dotkněte černého kolečka.“). Půl bodu udělujeme za každou správnou reakci po opakovaném zadání úkolu. Žádný bod udělujeme za nedokončený či nesprávně provedený úkol. Po pěti selháních v jedné ze sekcí I– V, ukončujeme administraci. Výsledný skór (max. 36 bodů) lze dle španělské normativní studie interpretovat takto: 29– 36 bodů = nepřítomnost poruchy, 25– 28 bodů = lehká porucha, 17– 24 bodů = středně těžká porucha, 9– 16 bodů = těžká porucha, 0– 8 bodů = velmi těžká porucha [9]. Celý TT, jenž obsahuje podnětový materiál, několik desítek záznamových listů a dvě příručky, je v České republice možné koupit od společnosti Propsyco, s.r.o., v ceně cca 1 000 Kč. Před vyšetřením pomocí TT doporučujeme anamnesticky zjistit od pacienta či pečovatele případné zrakové vady, zejména barvoslepost.

Statistické analýzy

Vzhledem k nenormálnímu rozložení hodnot hrubých skórů TT a velikosti souboru jsme pro analýzu dat využili neparametrické statistické metody. Pro deskriptivní statistiku byly vypočítány průměry, mediány, standardní odchylky a rozpětí. Pomocí Kruskallova-Wallisova H-testu a chí-kvadrátu byl porovnán vliv sociodemografických faktorů a rozdíl mezi jednotlivými skupinami výzkumného souboru. Pro srovnání rozdílů mezi skupinami byl využit také Mannův-Whitneyho U test, který plnil funkci neparametrického post hoc testu. Pro zjištění základních psychometrických vlastností TT jsme analyzovali senzitivitu a specificitu testu pomocí ROC (Receiver Operating Curve) analýzy, diskriminační validitu pak porovnáním ploch pod křivkami ROC a souběžnou validitu pomocí Spearmanových korelačních analýz. Statistické operace byly provedeny v programu IBM SPSS 23.

Výsledky

Rozložení skórů TT

Výzkumný soubor této studie dle předpokladů nevykazuje výrazné postižení fatických funkcí. Rozložení hrubých skórů TT je tedy značně asymetrické (šikmost = – 3,27, špičatost = 12) s mediánem v blízkosti maximálního skóru. Tab. 3 ukazuje rozložení skóru v jednotlivých skupinách souboru.

**Tab. 3. Popisná statistika výsledků TT.**

Vliv sociodemografických proměnných

Věk

Srovnání třech skupin výzkumného souboru ukázalo, že podsoubor AD + MKP disponuje statisticky významně vyšším věkovým průměrem nežli ostatní dvě skupiny (χ² = 14,086; df = 2; p <0,001). Věk má statisticky významný vliv na výsledek v TT (ρ = – 0,268; p = 0,008), avšak po odstranění vlivu příslušnosti k podsouboru pomocí parciální korelace se tato souvislost ukazuje statisticky nevýznamná (ρ = – 0,184; p = 0,074).

Pohlaví

Skupina PN se statisticky významně liší od skupiny ZK a AD + MKP z hlediska zastoupení mužů a žen (χ² = 13,272; df = 2; p < 0,001). Pohlaví však nemá statisticky významný vliv na výsledný skór v TT (ρ = – 0,055; p = 0,597) a muži a ženy se mezi sebou ve výkonu v TT neliší (U = 1072,5; Z = – 0,532; p = 0,595).

Vzdělání

Jednotlivé skupiny výzkumného souboru se mezi sebou statisticky významně nelišily v počtu let trvání jejich vzdělání (χ² = 4,99; df = 2; p = 0,082). Délka vzdělání nemá signifikantní vliv na výsledný skór v TT (ρ = 0,106; p = 0,309). Pomocí Mannova-Whitneyho U testu však byly nalezeny signifikantní rozdíly v TT mezi jednotlivými stupni dosaženého vzdělání, kdy se v celém souboru statisticky významně lišila kategorie nejméně vzdělaných (na úrovni ZŠ) se všemi ostatními kategoriemi, tj. lidmi vyučenými (U = 5; p = 0,032), lidmi se středním vzděláním s maturitou (U = 22,5; p = 0,014) a lidmi s vysokoškolským vzděláním (U = 13; p = 0,006).

Rozdíly mezi skupinami v TT

Kruskalův-Wallisův test nalezl signifikantní rozdíl mezi třemi podsoubory (χ² = 20,749; df = 2; p < 0,001) ve výkonu v TT. Mannův-Whitneyho U test ukázal statisticky významný rozdíl mezi ZK a skupinou AD + MKP a také mezi skupinou PN a AD + MKP, avšak ne mezi ZK a PN (tab. 4). Kontrolní parametrická ANOVA přinesla souhlasné rozdíly, a to jak při Bonferroniho korekci, tak i při Tukeyho post hoc testu.

Souběžná validita

Souběžná validita TT byla zjišťována na celkovém výzkumném souboru (N = 96) korelací s dalšími metodami zařazenými do neuropsychologické baterie a výkonu v jednotlivých doménách (podrobně viz odstavec Neuropsychologické vyšetření). Výsledné korelační koeficienty jsou uvedeny v tab. 5 [31]. Nejvýznamnější korelace byla zaznamenána s bezprostřední reprodukcí Reyovy-Osterriethovy komplexní figury (ρ = 0,524; p < 0,001), testem BNT 30 (ρ = 0,498; p < 0,001) a testem MAST (ρ = 0,486; p < 0,001). Z kognitivních domén sledovaných v neuropsychologickém vyšetření pak i s exekutivními funkcemi (ρ = 0,414; p < 0,001).

**Tab. 5. Souhrn výsledků Spearmanovy korelace (ρ) výkonu v TT s výkonem v jiných neuropsychologických metodách a kognitivních doménách u celého výzkumného souboru.**

Klasifikační výkon

Pro posouzení senzitivity a specificity byla provedena ROC analýza. Jelikož je v českém prostředí často užívaná a volně dostupná diagnostická metoda fatických funkcí MAST_cz, ROC analýzu jsme aplikovali i pro ni, abychom porovnali rozlišovací schopnosti obou metod na našem výzkumném vzorku. Kritérium pozitivních případů zastupovala vždy jedna z klinických skupin. V prvním případě AD + MKP a ve druhém pak PN, jež byla srovnávána se skupinou zdravých osob (ZK). Oblast pod křivkou (AUC) u skupiny AD + MKP je 82,6 % (p < 0,001), která svědčí o lepší rozlišovací schopnosti než u skupiny PN (AUC = 55,5 %; p = 0,423). Detailní údaje ukazuje tab. 6. Grafické zobrazení ROC křivek pro skupinu AD + MKP nabízí graf 1, pro skupinu PN pak graf 2.

ROC analýza – hraniční skóry, senzitivita a specifi cita TT a MAST<sub>cz</sub> u jednotlivých skupin souboru. — **Tab. 6. ROC analýza – hraniční skóry, senzitivita a specifi cita TT a MAST_cz u jednotlivých skupin souboru.**

**Graf 1. ROC křivka TT při srovnání ZK a AD + MKP.**

**Graf 2. ROC křivka TT při srovnání ZK a PN (PN a PN s MKP).**

Percentilové srovnávací údaje

Pro kontrolní soubor (ZK; věkové rozpětí 47– 80 let) byly vytvořeny orientační srovnávací údaje: 100.– 85. percentil = 36 bodů, 75. percentil = 35,5 bodů, 50. percentil = 35 bodů, 25. percentil = 34 bodů, 15. percentil = 33 bodů, 2. percentil = 32,5 bodů.

Diskuze

Cílem této studie bylo ověřit psychometrické vlastnosti české verze TT na dospělé starší klinické i neklinické populaci, jelikož je v současnosti k dispozici pouze manuál české verze TT pro děti [1].

Zjistili jsme, v souladu s většinou zahraničních výzkumů [1,9,32– 34], že pohlaví nemá statisticky významný vliv na výsledný skór v TT. Oproti tomu vliv věku je často zvažován a není z protichůdných výsledků patrné, zda roli ve výkonu v TT u dospělé populace hraje [9,13,33,35] nebo nikoli [28,34,36]. Naše výsledky naznačují, že věk není významný faktor, je-li odstraněn efekt příslušnosti k podsouboru. Je ovšem možné spekulovat o odlišných výsledcích na vzorku širšího věkového pásma než našeho souboru. Ačkoli se stárnutí obecně považuje za příčinu poklesu verbálního porozumění [37], populace zdravých osob by měla do 60 let plnit test na plný počet bodů [10]. Ani vliv počtu let vzdělání se neprokázal statisticky významným, avšak naše výsledky ukázaly signifikantní rozdíl v TT mezi osobami se základním vzděláním a všemi ostatními vyššími stupni vzdělání (učiliště, středoškolské a vysokoškolské), což podporuje zjištění podobně zaměřených výzkumů [5,38], které dokládají, že probíhala-li školní docházka jedince alespoň 8 let, pak je výkon v TT na ní nezávislý.

Výsledky souběžné validity potvrdily těsný vztah skórů TT s ostatními metodami zjišťujícími řečové schopnosti, nicméně také souvislost s vizuospaciálními schopnostmi, pamětí a exekutivními funkcemi. TT se ukazuje jako komplexní test hodnotící řečové schopnosti v reálném paradigmatu, v němž od řeči nelze oddělit další zapojující se domény, jako je např. usuzování, pozornost nebo paměť. Výkon v TT souvisí výrazně s celkovou kognitivní úrovní člověka, jak vyplývá z našich i zahraničních výsledků [26,27,33,39,40]. Velmi těsná korelace TT a řečových schopností se projevila u obou zařazených metod diagnostiky řečových funkcí, tj. MAST i BNT-30. Celkový skór MAST se skládá ze dvou částí, a to Indexu porozumění a Indexu produkce. Naše výsledky ukazují, že TT souvisí s oběma indexy, tedy jak s receptivní (pochopení instrukce), tak i s expresivní složkou řeči (schopnost pokyn provést – ukázat na správnou známku), v souladu s výsledky dřívější studie [6]. Tento fakt podporují i těsné korelace s testy pojmenování (též produkce řeči), jako je např. právě BNT [35,41]. Silné vztahy se ukázaly také mezi TT a subtestem Siluety z baterie VOSP svědčící o předpokladu kvalitních zrakově-prostorových funkcí k dobrému výkonu v TT. Zrakově-prostorové funkce se v TT uplatňují zejména při vyhledávání a orientaci v testové předloze složené z různých variant známek a v rychlosti i přesnosti zrakové pozornosti při vyhledávání známky/ známek dle instrukcí. Předpoklady o souvislosti TT s pracovní a krátkodobou pamětí [3,4] se v naší studii potvrdily. Krátkodobá paměť hraje v TT významnou roli při nutnosti zapamatování si obsahu a přesného pořadí úkolů v instrukci, po jejímž doznění teprve dochází k jejímu provedení. Zároveň také dobrá figurální paměť zvýhodňuje výkon probandů při časovém limitu 5 s u složitějších instrukcích – v průběhu administrace předchozích úkolů jsou schopni se naučit znát polohu jednotlivých známek a poté se lépe orientovat v testové předloze. Souvislost TT a exekutivních funkcí [31,32] se projevila v naší studii korelací TT a SB částí Stroopova testu, VFT (zejména sémantickou) i celkovou doménou exekutivních funkcí, jež v TT zodpovídají za schopnost plánovat, organizovat a cíleně realizovat instrukce.

Pozitivní korelace TT s celkovou kognitivní úrovní zjišťovanou MMSE v naší i dalších studiích [26,27] rezonuje s výsledky komparativní analýzy podsouborů výzkumného souboru a jejich výkonu v TT. Nejnižší průměrné skóry vykazuje skupina AD + MKP, která vykazovala významně (p < 0,001) nižší hodnoty v MMSE (M = 23; SD = 5,3) nežli skupina PN (M = 28,2; SD = 1,7) a ZK (M = 28,9; SD = 1,1). Položková analýza odpovědí v TT u pacientů s AD naznačuje pravděpodobnější příčinu nezdaru v důsledku perseverace nežli neporozumění slyšenému [25].

Výsledky ROC analýzy ukazují, že TT disponuje vysokou senzitivitou a specificitou pro osoby s kognitivním deficitem, a proto oblast pod křivkou nabývá nejvyšších hodnot u těch klinických skupin, u nichž je kognitivní výkon znatelně narušen, tj. podsoubor AD + MKP (AUC = 0,826; p < 0,0001). MAST_cz v tomto případě neprokázal dostatečnou rozlišovací schopnost (AUC = 0,795; p = 0,064). Tyto výsledky svědčí o tom, že MAST_cz je pro detekci MKP a AD, které se neprojevují primárně fatickým postižením, ne příliš vhodným nástrojem. U podsouboru PN, který zahrnuje převážně osoby bez kognitivního deficitu (63 %), se TT ani MAST_cz neosvědčily pro nedostatečnou rozlišovací schopnost. TT dle výsledků souběžné validity nehodnotí selektivně fatické funkce, avšak je selektivní vůči neurogenním poruchám komunikace u pacientů s degenerativním onemocněním mozku, konkrétně u pacientů s MKP a AD, v důsledku celkové kognitivní deteriorace. Srovnání našich výsledků se studií Bolčekové et al [10] svědčí o lepší rozlišovací schopnosti u osob s AD nežli u dětí s narušenou komunikační schopností (AUC = 0,66).

Hlavním limitem této studie byla velikost výzkumného souboru, která neumožňovala porovnávat jednotlivé klinické skupiny odděleně. Budoucí studie by mohly na početnějším výzkumném souboru přinést přesnější výsledky a detailnější normativní údaje jak pro jednotlivé klinické skupiny, tak i pro jednotlivé stupně vzdělání, jež se ukázalo jako významný faktor podílející se na výkonu v TT.

Na druhou stranu naše studie přináší informace o psychometrických vlastnostech jedné ze základních metod používaných pro diagnostiku fatických funkcí při neuropsychologickém vyšetření, jež pro českou dospělou starší populaci nebyly dosud publikovány. TT doporučujeme administrovat při vyšetření pacientů s MKP nebo demencí při AN pro hodnocení narušení celkové komunikační schopnosti, ke které dochází v důsledku celkové kognitivní deteriorace. Věříme, že výsledky a orientační normativní údaje přispějí k oblibě užívání i kvalitnější interpretaci TT v České republice.

Autoři deklarují, že v souvislosti s předmětem studie nemají žádné komerční zájmy.

Redakční rada potvrzuje, že rukopis práce splnil ICMJE kritéria pro publikace zasílané do biomedicínských časopisů.

Mgr. Sylvie Brustmannová

Výzkumná skupina Aplikované neurovědy

CEITEC – Středoevropský technologický institut, MU

Kamenice 753/5

625 00 Brno

e-mail: s.brustmannova@mail.muni.cz

Přijato k recenzi: 21. 11. 2016

Přijato do tisku: 6. 4. 2017

Zdroje

1. Gallardo G, Guàrdia J, Villaseñor T, et al. Psychometric data for the Revised Token Test in normally developing Mexican children ages 4– 12 years. Arch Clin Neuropsychol 2011;26(3):225– 34. doi: 10.1093/ arclin/ acr018.

2. De Renzi E, Faglioni P. Normative data and screening power of a shortened version of the Token Test. Cortex 1978;14(1):41– 9.

3. Kitson D, Vance B, Blosser J. Comparison of the TokenTest of language development and the Wechsler Intelligence Scale for Children – Revised. Percept Mot Skills 1985;61(2):532– 4.

4. Smith S, Mann V, Shankweiler D. Spoken sentence comprehension by good and poor readers: a study with the Token Test. Cortex 1986;22(4):627– 32.

5. Spreen O, Strauss E. A compendium of neuropsychological tests: administration, norms, and commentary: administration, norms, and commentary. Oxford: Oxford University Press 2006.

6. Gutbrod K, Mager B, Meier E, et al. Cognitive processing of tokens and their description in aphasia. Brain Lang 1985;25(1):37– 51.

7. Lezak M. Neuropsychological assessment. New York: Oxford University Press 2004.

8. Orgass B, Poeck K. Clinical validation of a new test for aphasia: an experimental study on the Token Test: an experimental study on the Token Test. Cortex 1966; 2(2):222– 43.

9. Peña-Casanova J, Quiñones-Úbeda S, Gramunt-Fombuena N, et al. Multicenter Normative Studies (NEURONORMA Project): norms for Boston naming test and token test. Arch Clin Neuropsychol 2009;24(4):343– 54.

10. Bolčeková E, Preiss M, Krejčová L. Token Test pro děti a dospělé. Praha: Propsyco 2015.

11. Fontanari J. The “Token Test“: elegance and conciseness in the evaluation of comprehension in aphasic patients: validation of the reduced version of DeRenzi to the Portuguese. Neurobiologia 1989;52(3):177– 218.

12. Spellacy F, Spreen O. A short form of the Token Test. Cortex 1969;5(4):390– 7.

13. Yang L, Unverzagt F, Jin Y, et al. Normative data for neuropsychological tests in a rural elderly Chinese cohort. Clin Neuropsychol 2012;26(4):641– 53.

14. Kosciesza M, Krasowicz G. Polish adaptation of the “Token Test“ for children and its practical applications. Psychologia Wychowawcza 1995;38(4):350– 8.

15. Preiss M, Bartoš A, Čermáková R. Neuropsychologická baterie Psychiatrického centra Praha: klinické vyšetření základních kognitivních funkcí. 3. přeprac. vyd.. Praha: Psychiatrické centrum 2012.

16. Hughes A, Daniel S, Kilford L, et al. Accuracy of clinical diagnosis of idiopathic Parkinson‘s disease: a clinico-pathological study of 100 cases. J Neurol Neurosurg Psychiatry 1992;55(3):181– 4.

17. Litvan I, Goldman J, Tröster A, et al. Diagnostic criteria for mild cognitive impairment in Parkinson‘s disease: Movement Disorder Society Task Force guidelines. Mov Disord 2012;27(3):349– 56. doi: 10.1002/ mds.24893.

18. McKhann G, Knopman D, Chertkow H, et al. The diag-nosis of dementia due to Alzheimer’s disease: recommendations from the National Institute on Aging-Alzheimer’s Association workgroups on diagnostic guidelines for Alzheimer‘s disease. Alzheimera Dement 2011;7(3):263– 9. doi: 10.1016/ j.jalz.2011.03.005.

19. Albert M, DeKosky S, Dickson D, et al. The diagnosis of mild cognitive impairment due to Alzheimer’s disease: recommendations from the National Institute on Aging-Alzheimer’s Association workgroups on diagnostic guidelines for Alzheimer‘s disease. Alzheimera Dement 2011;7(3):270– 9. doi: 10.1016/ j.jalz.2011.03.008.

20. Folstein M, Folstein S, McHugh P. “Mini-mental state”: a practical method for grading the cognitive state of patients for the clinician. J Psychiatr Res 1975;12(3):189– 98.

21. Warrington E, James M. The visual object and space perception battery. Thames Valley: Test Company Bury St Edmunds 1991.

22. Meyers J, Meyers K. Rey Complex Figure Test and recognition trial professional manual. Psychological Assess-ment Resources 1995.

23. Technická příručka: WAIS III, WMS III. Praha: Testcentrum 1999.

24. Bezdicek O, Lukavsky J, Stepankova H, et al. The Prague Stroop Test: Normative standards in older Czech adults and discriminative validity for mild cognitive impairment in Parkinson’s disease. J Clin Exp Neuropsychol 2015;37(8):794– 807. doi: 10.1080/ 13803395.2015.1057106.

25. Preiss M, Preiss J, Panamá J. Trail Making test pro děti a dospělé. Manuál. Bratislava: Psychodiagnostika 1997.

26. Košťálová M, Bártková E, Šajgalíková K, et al. A standardization study of the Czech version of the Mississippi Aphasia Screening Test (MASTcz) in stroke patients and control subjects. Brain Inj 2008;22(10):793– 801. doi: 10.1080/ 02699050802372190.

27. Williams B, Mack W, Henderson V. Boston naming test in Alzheimer‘s disease. Neuropsychologia 1989;27(8):1073– 9.

28. De Renzi E, Faglioni P. Normative data and screening power of a shortened version of the Token Test. Cortex 1978;14(1):41– 9.

29. Bartoš A, Martínek P, Bezdíček O, et al. Dotazník funkčního stavu FAQ-CZ– česká verze pro zhodnocení každodenních aktivit pacientů s Alzheimerovou nemocí. Psychiat Praxi 2008;9(1):31– 4.

30. Yesavage J, Sheikh J. Geriatric Depression Scale (GDS) recent evidence and development of a shorter violence. Clin Gerontology 1986;5(1– 2):165– 73.

31. Aarsland D, Bronnick K, Williams-Gray C, et al. Mild cognitive impairment in Parkinson disease: a multicenter pooled analysis. Neurology 2010;75(12):1062– 9. doi: 10.1212/ WNL.0b013e3181f39d0e.

32. Turkyılmaz M, Belgin E. Reliability, Validity, and Adaptation of Computerized Revised Token Test in Normal Subjects. Int Adv Otol 2012;8(1):103– 12.

33. Kim H, Sung J, Kim J, et al. Response time measurements in the iOS app-based Token Test, the BriefToken Test in the elderly. Geriatr Gerontology Int 2014; 14(4):969– 74. doi: 10.1111/ ggi.12182.

34. Lucas J, Ivnik R, Smith G, et al. Mayo‘s older african americans normative studies: norms for boston naming test, controlled oral word association, category fluency, animal naming, token test, wrat-3 reading, trail making test, stroop test, and judgment of line orientation. Clin Neuropsychol 2005;19(2):243– 69.

35. Sakellaridou E, Wersching H, Reinholz J, et al. Comprehension of complex instructions deteriorates with age and vascular morbidity. Age 2011;33(1):101– 6. doi: 10.1007/ s11357-010-9161-9.

36. Steinberg B, Bieliauskas L, Smith G, et al. Mayo‘s older Americans normative studies: age-and IQ-adjusted norms for the trail-making test, the stroop test, and MAE controlled oral word association test. Clin Neuropsychol 2005;19(3– 4): 329– 77.

37. Schneider B, Daneman M, Pichora-Fuller M. Listening in aging adults: from discourse comprehension to psychoacoustics. Can J Exp Psychol 2002;56(3):139.

38. Brewster P, Tuokko H, MacDonald S. Measurement equivalence of neuropsychological tests across education levels in older adults. J Clin Exp Neuropsychol 2014;36(10):1042– 54. doi: 10.1080/ 13803395.2014.967661.

39. Swihart A, Panisset M, Becker J, et al. Token Test: Validity and diagnostic power in Alzheimer‘s disease. Dev Neuropsychol 1989;5(1):69– 78.

40. Maseda A, Lodeiro-Fernández L, Lorenzo-López L, et al. Verbal fluency, naming and verbal comprehension: three aspects of language as predictors of cognitive impairment: three aspects of language as predictors of cognitive impairment. Aging Ment Health 2014;18(8):1037– 45. doi: 10.1080/ 13607863.2014.908457.

41. Morley G, Lundgren S, Haxby J. Comparison and clinical applicability of auditory comprehension scores on the behavioral Neurology deficit evaluation, Boston diagnostic aphasia examination, porch index of communicative ability and token test. J Clinical Exp Neuropsychol 1979;1(3):249– 58.