Preciznost a bias metod měření dle EP15-A3

Souhrn

Dokument EP15-A3 [1] se zabývá způsoby zjištění analytické výkonnosti kvantitativních měřicích postupů, jmenovitě verifikací preciznosti a odhady bias měření, a CLSI v něm předkládá formou doporučení uživateli postupy, jak obou cílů dosáhnout v rámci jediného experimentu, který v minimálním přípustném rozsahu (designu) 5x5 trvá pět dní. Tématem tohoto sdělení jsou zkušenosti z aplikace postupů dle [1], demonstrované v Annexu [11] na příkladu stanovení albuminu a identifikace klíčových rozdílů od postupů uvedených v předchozí (A2) verzi téhož doporučení, tj. v EP15-A2. Speciální část studie představuje srovnání výpočtů prováděných dle [1] pomocí běžných funkcí tabulkového editoru MS Excel s výpočty generovanými speciálním doplňkem tohoto programu, MSA Analyse-it verze 4.51. Dvě souhrnné tabulky demonstrují odhady bias 20 základních biochemických analytů a 11 specifických proteinů, získané měřením sedmi různých referenčních materiálů.

Klíčová slova:
EP15-A3, verifikace preciznosti, odhad pravdivosti, aplikace funkcí MSA (Analyse-it).

Terminologie

Definice pojmů se vztahem ke kvalitě, uvádí mezinárodní metrologický slovník VIM-3 [2] Zde jsou volně uvedeny ty, jež mají klíčový význam k pochopení daného tématu.

Dvě specifické charakteristiky měření - přesnost a pravdivost - nejsou veličinami a nejsou dány číselnými hodnotami veličiny. Platí, že „přesnost měření“ se dává do vztahu k celkové chybě měření a že „pravdivost resp. správnost“ je nepřímo vztažena pouze k její systematické složce ne však k její složce náhodné. Odtud přesnost měření [2] jako těsnost shody mezi naměřenou hodnotou veličiny a pravou hodnotou veličiny měřené veličiny platí pro jednu naměřenou hodnotu veličiny, pravdivost měření jako těsnost shody mezi aritmetickým průměrem a referenční hodnotou veličiny platí pro nekonečný počet opakovaných naměřených hodnot veličiny.

Bias/vychýlení (strannost) měření je odhadem systematické chyby měření a jako systematická složka celkové chyby měření zůstává dle definice v opakovaných měřeních konstantní nebo se mění předvídatelným způsobem. Na rozdíl od níže uvedených měr preciznosti má povahu chyby, tedy diskrétní veličiny, jejíž velikost je u biochemických nespojitou funkcí hodnoty měřené veličiny. Referenční hodnotou veličiny pro systematickou chybu měření je pravá hodnota veličiny nebo naměřená hodnota veličiny etalonu (standardu) se zanedbatelnou nejistotou měření nebo konvenční hodnota veličiny. Systematická chyba měření se rovná celkové chybě měření po odečtu náhodné chyby měření. [2]

Preciznost měření je těsnost shody mezi indikacemi nebo naměřenými hodnotami veličiny, která je ale zpravidla vyjádřena číselnými mírami nepreciznosti (směrodatnou odchylkou, rozptylem nebo variačním koeficientem) za specifických podmínek měření. Odhad preciznosti měření (preciznosti), se stejně jako v případě pravdivosti získává opakováním měření na stejném objektu nebo na podobných objektech za specifikovaných podmínek. [2] Preciznost má, na rozdíl od bias/ strannosti měření, a priori pravděpodobnostní povahu, což umožňuje její přímé zahrnutí do odhadu nejistoty měření.

Pojem preciznost měření dle [2] de facto označuje celou množinu jednotlivých druhů (podmnožin) preciznosti (obr. 1), odlišitelných podmínkami rozdílných experimentů zaměřených na jejich odhad. Opakovatelnost je preciznost stanovená experimentálně za podmínek opakovatelnosti, což dle [2] znamená: stejný postup měření, stejný obslužný personál, stejný měřicí systém, stejné pracovní podmínky a stejné místo a opakování měření na stejném nebo podobných objektech v krátkém časovém úseku, zatímco mezilehlá preciznost je definovaná za podmínek mezilehlé preciznosti měření, kterými dle [2] jsou: stejný postup měření, stejné místo a opakování měření na stejném nebo podobných objektech (tj. např. i provádění analýz různými analytiky a na odlišném vybavení) v delším časovém úseku. POZOR: Mezilehlá preciznost není totéž co reprodukovatelnost (podmínky příslušných experimentů nejsou stejné) a odhad reprodukovatelnosti není při běžné verifikaci postupu požadován!

Poznámka: Terminologie [1] je pro uživatele poněkud matoucí. Opakovatelnost („Repeatability“, R) měření byla v předchozí, A2 verzi dokumentu CLSI (Cllinical and Laboratory Standard Institute) označována termínem „preciznost v rámci jedné série“ („Within-run precision“), který doplněk Analyse-it tabulkového editoru Excel [9] stále používá. V [1] se však již výhradně používá termín „opakovatelnost“, a oproti verzi A2 se zcela nově zavádí pojem „vnitřní laboratorní preciznost“ („Within laboratory precision“, WL), odpovídající původnímu termínu „celková preciznost“ („Total precision“) užívanému dosud běžně jak výrobci, tak Analyse-it. Na obrázku 1 je pro doplnění zakreslena i „preciznost mezi sériemi“ („Betveen–run“, B). Toto sdělení se řídí terminologií [1].

Cíl verifikace metody dle EP15-A3

Cílem každé verifikace laboratorní metody měření je ověřit, zda měřicí postup má výkonnost v konkrétních laboratorních podmínkách uživatele v souladu s příslušnými požadavky na kvalitu stanovenými výrobcem obvykle při plné validaci metod a uváděnými pro zákazníky v pracovních instrukcích (PI).

EP15-A3 uvádí postupy, jak v rámci jediného experimentu provést verifikaci měr preciznosti deklarovaných výrobci a současně určit odhad pravdivosti měření vztažený k certifikované referenční případně referenční resp. vztažné hodnotě vhodných referenčních materiálů (RM), jejichž hodnoty koncentrací měřených veličin jsou známy. Implicitně se předpokládá, že odhady obou uváděných měr kvality, tj. preciznosti a strannosti (bias) měření, jsou akceptovatelné pouze tehdy, je-li přijatelná i celková chyba měření (např. celková analytická chyba) [1]. Autoři [1] uvádí, že jednou z priorit nové verze byla náhrada složitých výpočtů verze A2 tabulkami a zpracování dat výhradně doporučenými tabulkovými editory.

Dokument EP15-A3 rozšiřuje minimální rozsah designu experimentu 3x5 na formát 5x5, což v praxi znamená, že po dobu trvající pět dní se každý den u každé měřené veličiny nyní nově provádí v rámci každé série minimálně pět opakování měření. Další modifikace rozšiřující nově doporučený formát 5x5 oproti verzi A2 jsou možné a výpočty jim lze lehce přizpůsobit. Odhad preciznosti a pravdivosti v rámci jediného experimentu dle [1] však nepřipouští měření jednoho vzorku po dobu kratší než pět dní a vyžaduje minimálně pět opakování měření v každé jednotlivé sérii proto, aby se k požadovaným výpočtům potřebné hodnoty stupňů volnosti uvedené v originálních tabulkách [1] odpovídající pěti, šesti nebo sedmi sériím daly vůbec použít.

Obr. 2 představuje jednoduché schéma řízení procesů při verifikaci preciznosti s použitím zkratek uvedených v tabulce legendy. K odlišení požadavků výrobců na přípustné směrodatné odchylky (SD), s nimiž je běžně nakládáno, jako by byly prosté nejistot, a skutečných odhadů SD zjištěných uživatelem, se i v celém následném textu používá v legendě uvedeného značení.

Přípravná fáze, výběr vhodných vzorků obecně

Výběr vzorků pro verifikaci preciznosti a odhad vychýlení (bias) měření v rámci jediného experimentu je zásadní. Běžně se pro verifikaci preciznosti jako nejlepší dostupné materiály jeví poolované pacientské vzorky, vybírané s ohledem na referenční interval, klinické rozhodovací meze, určený cut-off, nebo prostě z oblasti fyziologických a abnormálních hodnot měřené veličiny. Vždy jsou pro uživatele důležité především údaje výrobců z pracovních instrukcí (PI) zjištěné při plné validaci metody. Odhad bias měření spočívá v analýze materiálů se známými, pravdivými koncentracemi měřených veličin, vydávaných v podobě atestů či certifikátů, aby uživatel následně mohl provést jejich porovnání s vlastními průměry hodnot koncentrací měřených veličin, naměřenými daným měřicím postupem. Vhodnými materiály pro odhad bias jsou buď kontrolní materiály - vzorky předem validované v cyklech EHK, které bohužel často postrádají nativní charakter matrice, nebo certifikované referenční materiály (CRM) uznávaných výrobců (např. IRMM Geel, NIST USA), u nichž je shodnost jejich matrice s matricí reálných vzorků deklarována. Má-li uživatel metody v rámci jediné studie dostát obou výše uvedených verifikačních cílů, musí volit pouze materiály vhodné pro odhad bias měření!

Obr. 3 uvádí jednoduché schéma řízení procesů z odhadu bias s použitím materiálů se známými koncentracemi měřené veličiny.

Design a konkretizace volby materiálů

Pro zde prezentovaný kombinovaný experiment verifikace preciznosti spojený s odhadem bias měření realizovaný v předepsaném designu 5x5 bylo vybráno celkem sedm různých druhů RM, a to dva atestované kontrolní materiály s validovanými vztažnými hodnotami z cyklů EHK českého poskytovatele SEKK a pět různých CRM výrobce IRMM Geel:

1. AKS SEKK No. 3755, RM s validovanými hodnotami atestů pro běžné sérové analyty: Na⁺, K⁺, Cl^-, Ca, P, Mg, cholesterol, glukóza, kyselina močová, močovina, kreatinin, triacylglyceroly, ALP, α-amyláza, AST, ALT, CK, GGT, a LD (RM1)
2. AKS SEKK No. 4351 dtto viz výše bod ad 1. (RM2)
3. ERM-AD452/IFCC, No. 1528, CRM s certifikovanou hodnotou pro: GGT (RM3)
4. ERM-AD457/IFCC, No. 877, CRM s certifikovanou hodnotou pro: AST (RM4)
5. IRMM/IFCC-456, No. 1510, CRM s certifikovanou hodnotou pro α-amylázu (RM5)
6. ERM–DA470k/IFCC, No. 13755, CRM s certifikovanými hodnotami mj. pro: albumin, α1-antitrypsin, α1-glykoprotein, IgA, IgG, IgM, C3c, C4 a transferin (RM6)
7. ERM-DA474/IFCC, No. 3967, CRM s certifikovanou hodnotou pro: C-reaktivní protein (CRP, RM7)

Fáze měření

Měřené veličiny předem vybraných analytů byly ve výše uvedených RM změřeny dle [1] doporučeného schématu 5x5 (pět opakovaní měření v jedné sérii po dobu následných minimálně pěti dní) na analyzátorech Architect c8000 Abbott (A) a BN ProSpec System Siemens (S). Dokumentace měření odpovídá pokynům [1]. Nezbytnou součástí jsou záznamy uvádějící název zařízení, informace o měřené veličině (analyt, druh veličiny a jednotky), čísla šarží reagencií a kalibrátorů, zdůvodnění výběru testovaných koncentračních hladin, složení vzorků, požadavky výrobců na preciznost (tabulky z příbalových letáků), pravdivé hodnoty (TV) a jejich nejistoty, nástroje software včetně verzí, jména osob odpovědných za provedení testů, přezkoumání a zpracování dat a v neposlední řadě případné změny doporučeného 5x5 designu experimentů či rozhodnutí o rozšíření studie.

Fáze zpracování dat

Soubory dat každého jednotlivého vzorku zvlášť byly nejprve zběžně vizuálně kontrolovány na integritu a přítomnost eventuálních extrémních (odlehlých) hodnot a poté byl proveden klasický Grubbsův test. Tabulky, do nichž se zaznamenávají výsledky měření, respektují design 5x5, tj. sloupce v nich odpovídají jednotlivým sériím měření a do řádků se zapisují příslušná opakování měření. Požadovaná tabelace, která je vhodná pro následné zpracování jednocestnou faktorovou analýzou (ANOVA) běžně dostupnými tabulkovými editory, např. MS Excel, je konkretizována v Annexu [11], na příkladu stanovení hmotnostní koncentrace albuminu. Vhodně zvolený tabulkový editor pak provede jednotlivé kroky výpočtů odhadů opakovatelnosti (R), vnitřní laboratorní preciznosti (WL), odhad bias (b), výpočet kombinované standardní chyby bias (se_c), které následně uživatel doplní o porovnání všech takto získaných odhadů s odpovídajícími požadavky výrobce resp. příslušnými předem stanovenými přípustnými hodnotami.

Stav, kdy odhady preciznosti uživatele nepřesáhnou požadavky výrobce, znamená hladké splnění kritérií shody a je přímou verifikací požadavků výrobce na tuto charakteristiku. V opačném případě musí uživatel realizovat druhou část verifikace preciznosti, která spočívá v porovnání laboratoří získaných odhadů preciznosti s odpovídajícími horními verifikačními limity (UVL), které se také odvozují z požadavků výrobce, a to pro každou podmnožinu variability zvlášť: tj. pro opakovatelnost „R“ a pro vnitřní laboratorní preciznost „WL“, viz Annex [11].

Pro volbu RM k určení bias platí podmínka, že k dispozici musí být údaje o pravdivé hodnotě měřené veličiny (TV) včetně její nejistoty (U) a dále např. koeficient rozšíření (k), aby se dala určit standardní chyba (SE) dané pravdivé hodnoty dle pokynů uvedených v [1]. Uživatel si v přípravné fázi experimentu sám stanoví přípustnou hodnotu bias příslušnou dané měřené veličině a vychází přitom z platných národních nebo mezinárodních doporučení. Zjistí-li pak ve svém experimentu statisticky významnou hodnotu odhadu bias, stále ještě tento odhad bias může představovat klinicky přijatelnou hodnotu. Konečné posouzení spočívá v porovnání získaného bias s příslušnou přípustnou hodnotou bias, stanovenou v přípravné fázi. Finální krok odhadu pravdivosti metody představuje určení verifikačního intervalu (VI), který s 95% pravděpodobností odhadnutý bias měření zahrnuje.

Ověření korektnosti požadovaných výpočtů ve zde prezentovaném konkrétním formátu experimentu se dělo tak, že požadované kroky výpočtů byly prováděny vždy dvěma různými způsoby: běžnými funkcemi tabulkového editoru MS Excel a poté znovu speciálními funkcemi MSA doplňku Analyse-it verze 4.51, viz Annex [11].

Závěr

Cílem tohoto experimentu bylo zjistit, zda nový doporučený postup, vydaný CLSI 09/2014 jako dokument EP 15-A3 [1], v němž se prezentuje verifikace měr preciznosti a současně provádí odhad bias měřicí metody, je použitelný i v běžné praxi i menší zdravotnické laboratoře v ČR.

Velké úskalí pro úspěšné zvládnutí zkoumaného postupu zaměřeného na posouzení zvolených provozních charakteristik měřicí metody číhá na uživatele již v jeho přípravné fázi, a sice v dostupnosti a výběru vhodných referenčních materiálů (RM), neboť sám požadavek použít zvolené materiály současně k verifikaci preciznosti a k odhadům bias měření je pro jejich správnou volbu naprosto klíčový. Autoři [1] se proto velmi obšírně věnují právě výběru RM a v rámci několika různých scénářů a odpovídajících modifikací výpočtů a závěrů z nich plynoucích řeší, jaké klady či zápory konkrétní RM pro uživatele má.

Český trh prakticky v současnosti pro účely klinických laboratoří nenabízí vhodné národní certifikované referenční materiály (CRM). Běžně dostupné a finančně přijatelné jsou zejména různé atestované materiály od poskytovatelů externích hodnocení kvality (EHK). Bohužel, někdy u některých poskytovatelů scházejí podstatné údaje zpřesňující validitu pravdivých resp. vztažných hodnot (mj. údaje o komutabilitě, počtu laboratoří, které se na primárních datech podílely, někdy není uveden údaj o nejistotě vztažné hodnoty a způsob následného statistického zpracování dat). Přesto objem zpracovaných RM v této konkrétní studii byl poměrně rozsáhlý a zacílený především na to, aby odhady bias měření byly co nejvíce objektivní (pro daný test se respektoval pokud možno dostatečný počet hladin) – viz výše design a volba materiálů.

Tabulky 1 a 2 shrnují výsledky této studie a poskytují možnost porovnání s minimálními známými přípustnými hodnotami preciznosti a bias. Ve sloupcích označených L jsou po řadě jako %CV_R uvedeny hodnoty preciznosti získané uživatelem za podmínek opakovatelnosti (R), dále jako %CV_WL hodnoty vnitřní laboratorní preciznost (WL) dle [1] a hodnoty odhadů bias (±Bias v %) pro všechny vybrané měřené veličiny, které splnily implicitní podmínku uvedenou v části „Cíl verifikace metody“. Pro porovnání jsou v dalších sloupcích označených PI uvedeny odpovídající požadavky na preciznost výrobců a dále aktualizované maximální přípustné hodnoty preciznosti (Max. % Impr.) odvozené z biologické variability zkoumaných analytů [3]. V posledních sloupcích tabulky jsou uvedeny aktuální maximálně přípustné hodnoty bias z několika literárních zdrojů: [4], [5], [6], [7] a [8].

U všech sledovaných měření sérových analytů bylo zjištěno, že u žádné hodnoty měřených veličin nepřesáhla preciznost měření adekvátní přípustnou hodnotu stanovenou výrobcem ani aktualizovanou maximální přípustnou hodnotu dle [4]. Zjištěné hodnoty laboratorní opakovatelnosti (R) a vnitřní laboratorní preciznosti (WL) totiž v naprosté většině případů hladce splnily kritéria shody, čili poskytly přímou verifikaci preciznosti požadavků výrobců uvedených v PI. Pouze u stanovení albuminu (ALB), C4 složky komplementu (C4), C-reaktivního proteinu (CRP), celkového vápníku (Ca) a anorganických fosfátů (P) bylo zapotřebí pro verifikaci R dopočítat adekvátní UVL a u CRP i UVL pro WL. Důvodem, proč tomu tak u CRP bylo, s vysokou pravděpodobností odráží fakt, že hodnoty, které uvádí výrobce (A), jsou s ohledem na maximální přípustnou hodnotu preciznosti a biologickou variabilitu CRP nesmyslně nízké.

Zjištěné hodnoty odhadů bias byly i zde porovnávány pouze s maximálními přípustnými hodnotami bias z několika literárních zdrojů, protože výrobci v naprosté většině vlastní hodnoty maximálně přípustné strannosti nikde neuvádějí. Následně byly s ohledem na posuzování pravdivosti resp. správnosti měření konstatovány jisté, předem předpokládané problémy, vybraných měřicích postupů.

U materiálů dodavatele SEKK (RM1 a RM2) produkovaných na bázi externího hodnocení kvality s validovanými vztažnými hodnotami měřených veličin (tab. č. 1) byly v testovaných měřicích postupech zjištěny nepřijatelné odhady bias s ohledem na dvě různé maximální přípustné hodnoty (v tabulkách 1 a 2 jsou označeny šedou barvou pozadí) u následujících analytů: sodný kation (Na), celkový vápník (Ca) a alkalická fosfatáza (ALP). U sodného kationu a celkového vápníku současná měřicí technika mnohdy stále ještě nedosahuje přípustných cílů daných jejich nízkou biologickou variabilitou. Vysoké hodnoty odhadu bias u ALP lze částečně přisoudit faktu, že za současného stavu mezinárodní standardizace měření tohoto analytu (na bázi metody IFCC 2011) jsou dosud používány a zatím uznávány dvě statisticky významně rozdílné populace přípustných hodnot veličiny a uživatel nemá k dispozici údaje, kterou populaci daný výrobce RM preferuje. Překvapivé není ani zjištění, že u některých analytů se hodnota odhadů bias měření na různých koncentračních hladinách měřených veličin liší velmi významně (hořčík). U všech takto, z pohledu pravdivosti problematických metod měření, lze uživateli k objasnění skutečného stavu doporučit, aby své odhady doplnil o testování CRM vyššího řádu, jak se stalo i v tomto experimentu v případě α-amylázy (AMS), kde IRMM/IFCC-456 (RM 5) poskytl nepoměrně nižší hodnotu odhadu bias, než oba materiály SEKK (RM1 a RM2), a stejně tak se jako správná volba projevilo doplňkové zahrnutí ERM-AD457/IFCC (RM 4) v případě stanovení AST. Nepřijatelné hodnoty odhadů bias měření se v tomto experimentu vyskytly rovněž u měření α1-glykoproteinu (AAG) a C3c, analyzovaných v CRM IRMM Geel (RM6), viz tab. č. 2.

Nejen v této souvislosti zůstává otázka, který zjištěný odhad bias měření by měl uživatel následně zohlednit jako příspěvek nekorigovatelné systematické chyby do výpočtů celkové nejistoty. Snad by přijatelnou kompromisní odpovědí na podobné dilema mohla být v případě problematických, s ohledem na pravdivost, postupů měření, poolovaná střední chyba správnosti, platná pro celý měřitelný rozsah dané veličiny. Několik návrhů metod odhadu nejistoty chemických měření se započtením příspěvku vychýlení, které se v současnosti zejména v Evropě běžně používají i v klinických laboratořích, uvádí [10].

Výpočty provedené nástrojem ANOVA vhodnými tabulkovými editory nejsou složité. Dokument [1] doporučuje uživateli celou řadu nástrojů, jak lze spolehlivě ověřit, že jejich jednotlivé kroky provedl správně. Poněkud problematičtější se jeví zjišťování kombinovaných stupňů volnosti df_c potřebných pro stanovení horních verifikačních mezí preciznosti (UVL), a stupňů volnosti DF odpovídajících kombinovaným středním chybám odhadů bias z navzájem na sebe navazujících tabulek uvedených v [1]. V předchozí verzi CLSI dokumentu A2 byl odhad stupňů volnosti pro verifikaci preciznosti součástí jediného, byť trochu složitějšího výpočtu. Jako vhodné zde uvedené řešení pro korektní provádění zpracování dat dle EP-A3 lze doporučit použití software Analyse-it verze 4.51, doplňku tabulkového editoru MS Excel, který veškeré požadované výpočty verifikačních limitů pro různé podmnožiny preciznosti, stejně jako odhady bias provádí automaticky a uživatel tedy složité originální tabulky vůbec nepotřebuje. Funkce MSA doplňku Analyse-it analyzované soubory dat velmi názorně graficky vizualizují, a provádějí jejich komplexní statistické zpracování včetně testování hypotéz a konstatování závěrů z nich plynoucích. Na první pohled komplikované výpočty se tak krajně zjednoduší a zredukují na zadávání primárních dat do příslušných formulářů.

Minimální požadovaný počet měření pro každý jednotlivý měřený vzorek dle [1] se oproti verzi A2 z původních 15 rozšířil na 25, což lze vcelku dobře akceptovat. Pro kvalifikovaný odhad bias měření jsou přijatelné pouze exaktní RM nejvyšší dostupné kvality (nejlépe vybavené hodnotami CRV (certifikovaná referenční hodnota) s uvedenou deklarovanou nejistotou a certifikátem) pokud takové existují a jsou dostupné. Tím se stal kombinovaný experiment zaměřený na současnou verifikaci preciznosti a odhady bias měření pro českého uživatele v menší zdravotnické laboratoři s ohledem na nezbytné vstupní náklady poněkud finančně náročnější. Přesto však lze praktické využití postupů [1] jednoznačně doporučit, protože uživateli poskytnou exaktní způsob (na výrobci testovací soupravy/metody naprosto nezávislý) provedení experimentu hodnocení preciznosti a bias měření v dané laboratoři. Má to zásadní význam pro její eventuální akreditaci dle ISO 15189. Postup dle EP 15-A3 je spolehlivou zárukou užití korektních, mezinárodně doporučených výpočtů a v neposlední řadě i široké mezilaboratorní porovnatelnosti závěrů z nich plynoucích.

Do redakce došlo 27. 1. 2016

Adresa pro korespondenci

MUDr. Jaroslava Ambrožová

Oddělení klinické biochemie Nemocnice Prachatice, a.s.

Nebahovská 1015

383 01 Prachatice

e-mail: ambrozova@nempt.cz