Asistenční systém pro detekci polypů v reálném čase na bázi konvoluční neuronové sítě

Assistance system for real-time polyp detection based on convolutional neural network

The use of artificial intelligence as an assistive detection method in endoscopy has attracted increasing interest in recent years. Machine learning algorithms promise to improve the efficiency of polyp detection and even optical localization of findings, all with minimal training of the endoscopist. The practical goal of this study is to analyse the CAD software (computer-aided diagnosis) Carebot for colorectal polyp detection using a convolutional neural network. The proposed binary classifier for polyp detection achieves accuracy of up to 98%, specificity of 0.99 and precision of 0.96. At the same time, the need for the availability of large-scale clinical data for the development of artificial--intelligence-based models for the automatic detection of adenomas and benign neoplastic lesions is discussed.

Keywords:

artificial intelligence – polyp detection – convolutional neural network – computer-aided diagnosis – spatial location

Autoři: Kvak D.; Kvaková K.
Působiště autorů: Masarykova univerzita, Brno
Vyšlo v časopise: Gastroent Hepatol 2021; 75(6): 540-543
Kategorie: Digestivní endoskopie: původní práce
doi: https://doi.org/10.48095/ccgh2021540

Souhrn

Využití umělé inteligence jako asistenční detekční metody v endoskopii se v uplynulých letech těší zvyšujícímu se zájmu. Algoritmy strojového učení slibují zefektivnění detekce polypů, a dokonce optickou lokalizaci nálezů, to vše s minimálním zaškolením endoskopisty. Praktickým cílem této studie je analýza CAD softwaru (computer-aided diagnosis) Carebot pro detekci kolorektálních polypů s využitím konvoluční neuronové sítě. Navržený binární klasifikátor pro detekci polypů dosahuje přesnosti až 98 %, specificity 0,99 a preciznosti 0,96. Současně je diskutována nezbytnost dostupnosti rozsáhlých klinických dat pro vývoj modelů na bázi umělé inteligence pro automatickou detekci adenomů a benigních neoplastických lézí.

Klíčová slova:

umělá inteligence – detekce polypů – konvoluční neuronová síť – počítačem asistovaná diagnostika – prostorová lokalizace

Úvod

Kolorektální karcinom (CRC) představuje třetí nejčastější příčinu úmrtí na nádorová onemocnění [1]. Pokles úmrtnosti na CRC se částečně připisuje stále častějšímu používání screeningových metod, koloskopické vyšetření však přesto zůstává nedokonalým testem. Nejrozšířenějším ukazatelem kvality screeningové koloskopie je míra detekce adenomů (ADR), která je definována jako procento koloskopií provedených endoskopistou, při nichž je detekován alespoň jeden adenom. Za účelem zvýšení míry detekce adenomů bylo v minulosti představeno několik specializovaných přístrojů, mnohá z těchto zařízení však mají společné nedostatky (např. nutnost zakoupení specializovaného hardwaru či počáteční křivka učení potřebná k efektivnímu používání zařízení). Na druhou stranu se ukázalo, že práce s vysokým rozlišením, které je součástí moderních endoskopů a nevyžaduje další vybavení ani školení, míru detekce rovněž zefektivňuje [6].

Motivace

Vzhledem k tomu, že míra detekce adenomů silně koreluje s rizikem intervalového kolorektálního karcinomu [3], může hodnota ADR rapidně snížit riziko intervalového karcinomu. Zatímco chytré scany nebo inteligentní endoskopy pomáhají lékařům, umělá inteligence by mohla překonat lidský faktor soustředění, pracovní zátěže, únavy a chybovosti, přičemž zde navrhovaný model se prezentuje jako spolehlivý při detekci klasických adenomů a obtížných a plochých lézí.

Prvotní in vivo výsledky randomizované kontrolované studie, jež byla provedena na 1 058 pacientech v Číně (522 s CAD, 536 bez CAD), naznačují významný nárůst ADR (29,1 % s CAD, 20,3 % bez CAD; p < 0,001), a to především lokalizací diminutivních (≤ 5mm) adenomů (185 s CAD, 102 bez CAD; p < 0,001) [4]. Ačkoli se zmíněná studie nezabývala poměrem nákladů a přínosů CAD, napovídá, že v populaci s nízkou prevalencí ADR vedl asistenční systém detekce polypů během koloskopie ke zvýšení počtu zjištěných adenomů a taktéž ke zvýšení počtu detekovaných hyperplastických polypů. Přestože diminutivní adenomy obecně představují menší riziko malignity ve srovnání s většími adenomy [5], nárůst ADR může v konečném důsledku přispět ke snížení rizika intervalového CRC. Výše zmíněná studie je první prospektivní, randomizovanou kontrolovanou studií využívající CAD systém založený na hlubokém učení, který pomáhá endoskopistům při detekci polypů tlustého střeva.

Specifikace datové sady

Pro vývoj systému jsme využili veřejně dostupný dataset Kvasir v2 [6]. Datová sada sestává ze snímků, jež byly anotovány a dvojitě validovány zkušenými endoskopisty a které zahrnují několik tříd zobrazujících anatomické orientační body, patologické nálezy nebo endoskopické postupy v trávicím traktu. Mezi anatomické orientační body patří Z-linie, vrátník, cékum atd., mezi patologické nálezy patří ezofagitida, polypy, ulcerózní kolitida atd. Datová sada se skládá ze snímků s různým rozlišením od 720 x 576 do 1 920 x 1 072 pixelů a je uspořádána tak, že jsou řazeny do samostatných složek pojmenovaných podle obsahu. Některé z obsažených tříd snímků obsahují zelenou značku ilustrující polohu a konfiguraci endoskopu uvnitř střeva, a to pomocí elektromagnetického zobrazovacího systému, který může podpořit interpretaci snímku. Tento typ informací může být významný pro pozdější vyšetření.

Popis architektury neuronové sítě

Častým omezením dřívějšího výzkumu umělé inteligence ve zdravotnictví byla dostupnost hardwaru. Výzkumníci často prováděli počáteční studie na ekvivalentech osobních počítačů s tím, že v budoucnu plánovali rozšíření pomocí robustnějších systémů. Nástup nové generace moderních grafických procesorů v posledních letech odstartoval druhou vlnu inovací v oblasti umělé inteligence. Moderní algoritmy začaly využívat konvoluční neuronové sítě (CNN) a hluboké učení pro počítačem podporovanou detekci polypů. Tyto algoritmy nejsou určeny k zachycení specifických rysů polypu, namísto toho je algoritmus natrénován k identifikaci polypových a nepolypových rysů na velké datové sadě bez explicitních vstupů od výzkumníků [7].

Konvoluční neuronové sítě jsou modelovány dle obdobného systému vizuálního zpracování v lidském mozku. Základní myšlenkou je, že neurony ve zrakové kůře zpracovávají obraz do stále složitějších tvarů. Obraz je nejprve rozdělen na hranice okrajů pomocí rozhraní světlo/tma, poté je spojen do jednoduchých tvarů, a nakonec je v dalších vrstvách sloučen do rozpoznatelných složitých rysů. CNN se snaží tuto myšlenku napodobit pomocí několika vrstev umělých neuronů. Standardní architektura zahrnuje několik konvolučních vrstev, které segmentují obraz na malé kousky, jež lze snadno zpracovat. Výstupy z těchto vrstev se sdružují do vrstev, čímž se zmenšuje velikost dat a snižuje šum. Sekvenční vrstvy vstupují do neuronové sítě, která následně vytváří pravděpodobnostní teplotní mapu, jež popisuje pravděpodobnost, zda obraz obsahuje požadovaný cíl. Výhodou tohoto systému je, že jej lze vycvičit k nalezení libovolného prvku v obraze, aniž by navrhovatel popisoval konkrétní prvky. Tím se vyhne hlavnímu omezení předchozích ručně vytvořených algoritmů, které vyžadovaly tvrdé zakódování konkrétních identifikačních znaků do softwaru.

Prostorová lokalizace teplotních map

Biomarkery jsou měřitelné ukazatele, které nám pomáhají s prostorovou lokací jednotlivých patologií. V případě endoskopického vyšetření nás zajímají viditelné patologické nálezy a anatomické orientační body. Pro stanovení biomarkerů používáme techniku zvanou Grad-CAM, jež počítá gradienty aktivační funkce výstupu každé třídy vzhledem k aktivacím poslední konvoluční vrstvy [8]. Kombinací výsledků získáváme hrubou teplotní mapu s informací o významnosti každé oblasti vstupního obrazu, což přispívá k selekci vybrané třídy výstupu sítě (obr. 1). Po vytvoření gradientních teplotních map pro různé snímky trávicího traktu zjišťujeme, že existují oblasti, jež mají konzistentně větší vliv na výstup dané třídy. Tyto mapy pak ilustrují, že náš algoritmus věnuje největší pozornost abnormálním oblastem, zatímco oblasti bez nálezů ignoruje.

Prostorová lokalizace lézí tlustého střeva pomocí teplotních map: A) divertikl, B) cékum, C) polyp a D) rakovina.<br>
Fig. 1. Spatial localization of colon lesions using temperature maps: A) diverticulum, B) cecum, C) polyp and D) cancer. — Obr. 1. Prostorová lokalizace lézí tlustého střeva pomocí teplotních map: A) divertikl, B) cékum, C) polyp a D) rakovina.
Fig. 1. Spatial localization of colon lesions using temperature maps: A) diverticulum, B) cecum, C) polyp and D) cancer.

Hluboká neuronová síť ResNet-50, za níž stojí He et al [9], představuje jedno z nejmodernějších řešení pro počítačové vidění. Tato architektura využívá metodu extrakce rysů z obrazových souborů, díky které se síť učí, dle jakých rysů může jednotlivé snímky řadit do různých tříd. Jelikož nálezy spadající pod stejnou třídu vykazují obdobné odchylky, užívá aplikace schopnost predikce, pomocí níž pak nové snímky řadí do dříve segmentovaných tříd. Hluboké konvoluční sítě představují ideální řešení pro identifikaci rysů z obrazových dat, přičemž skládání více vrstev do určité míry zlepšuje schopnosti predikce. Architektura ResNet-50 se skládá z pěti stupňů, každý s konvolučním blokem a blokem identity, který je primárně využíván jako zkratka [9]. Konvoluční blok obsahuje tři konvoluční vrstvy, přičemž každý blok identity operuje se třemi konvolučními vrstvami. Zkratky slouží k přeskočení jedné či více vrstev, např. z první vrstvy lze pomocí zkratky přeskočit na třetí vrstvu (obr. 2).

Reprezentativní příklad snímků s: A) nálezem polypu, B) bez nálezu
polypu.<br>
Fig. 2. Representative example of images with: A) finding a polyp, B) without finding
a polyp. — Obr. 2. Reprezentativní příklad snímků s: A) nálezem polypu, B) bez nálezu polypu.
Fig. 2. Representative example of images with: A) finding a polyp, B) without finding a polyp.

Vyhodnocení performance klasifikátoru (tab. 1, 2)

Prediktivní přesnost neuronové sítě ResNet-50 pro jednotlivé datasety.<br>
Tab. 1. Predictive accuracy of the ResNet-50 neural network for individual datasets. — Tab. 1. Prediktivní přesnost neuronové sítě ResNet-50 pro jednotlivé datasety.
Tab. 1. Predictive accuracy of the ResNet-50 neural network for individual datasets.

Měření výkonnosti algoritmu pro binární klasifikaci.<br>
Tab. 2. Measuring the performance of the binary classification algorithm. — Tab. 2. Měření výkonnosti algoritmu pro binární klasifikaci.
Tab. 2. Measuring the performance of the binary classification algorithm.

Kritickým nástrojem hodnocení pro určení míry falešně pozitivních a falešně negativních výsledků pomocí diskriminačního prahu v podobné situaci s nevyváženými vzorky datového souboru je F1-skóre. Pro celkovou identifikaci výkonnosti sítě ResNet-50 bylo použito hodnocení jejích kritických bodů pomocí níže uvedených metrik. Následující údaje zahrnují přesnost, citlivost, úplnost a F1-skóre vypočtené na základě níže uvedených rovnic:

Diskuze

Přestože první systémy pro včasnou detekci polypů s podporou umělé inteligence již vstupují na trh a jsou součástí klinických zkoušek [10], základní matematické přístupy konvolučních neuronových sítí stále odrážejí myšlenku tzv. slabé umělé inteligence. Tento termín souvisí s ideou, že tyto systémy jsou navrženy k řešení jediné úlohy, kterou je detekce polypů. Jak je z dosažených výsledků patrné, dostupné systémy a přístupy řeší tento úkol překvapivě dobře, avšak na rozdíl od lidského endoskopisty se tyto algoritmy a přístupy nemohou snadno přizpůsobit novým vstupům nebo údajům.

Zatímco lidský endoskopista vždy používá komplexní (anamnestické, demografické, laboratorní a lékové) informace o pacientovi, pomocí nichž může vztáhnout jakýkoli nález a konečnou diagnózu k těmto znalostem, dostupné systémy umělé inteligence jsou konstruovány tak, aby řešily pouze jednu jedinou a úzkou úlohu, a to detekci jakéhokoli polypoidního podezřelého nálezu neoplastické léze.

Závěr

Asistenční systém detekce polypů s podporou umělé inteligence pomáhá endoskopistům detekovat více lézí při kolorektálních vyšetřeních. Navržený model dosahuje přesnosti 98 %, specificity 0,99 a preciznosti 0,96 pro binární klasifikaci k identifikaci polypových a nepolypových rysů a přesnosti 93 % pro vícetřídní klasifikaci anatomických orientačních bodů a patologických nálezů trávicího traktu. Ačkoli současné klinické aplikace vyžadují úzce specifikovaný hardware, lze předpokládat, že budoucí iterace umělé inteligence by mohly být integrovány do samotných procesorů endoskopů.

Poděkování

Rádi bychom touto cestou poděkovali MUDr. Stanislavu Kašíkovi za jeho ochotu a cenné rady.

ORCID autora

D. Kvak ORCID 0000-0001-7808-7773.

Doručeno/Submitted: 19. 8. 2021

Přijato/Accepted: 3. 11. 2021

Mgr. Daniel Kvak

Masarykova univerzita

Žerotínovo nám. 617/9

601 77 Brno

kvak@mail.muni.cz.

Zdroje

1. WHO. Cancer. 2021 [online]. Available from: https: //www.who.int/news-room/fact-sheets/ detail/cancer.

2. Jrebi NY, Hefty M, Jalouta T et al. High-definition colonoscopy increases adenoma detection rate. Surg Endosc 2017; 31 (1): 78–84. doi: 10.1007/s00464-016-4986-7.

3. Murphy B, Myers E, O’Shea T et al. Correlation between adenoma detection rate and polyp detection rate at endoscopy in a non-screening population. Sci Rep 2020; 10 (1): 2295. doi: 10.1038/s41598-020-58963-y.

4. Wang P, Berzin (tm), Brown JR et al. Real-time automatic detection system increases colonoscopic polyp and adenoma detection rates: a prospective randomised controlled study. Gut 2019; 68 (10): 1813–1819. doi: 10.1136/gutjnl-2018-317 500.

5. Jeong YH, Kim KO, Park CS et al. Risk factors of advanced adenoma in small and diminutive colorectal polyp. J Korean Med Sci 2016; 31 (9): 1426–1430. doi: 10.3346/jkms.2016.31.9.1426.

6. Pogorelov K, Randel KR, Griwodz C et al. KVASIR: a multi-class image dataset for computer aided gastrointestinal disease detection. Taipei Taiwan: ACM 2017. doi: 10.1145/3083187.3083212.

7. Shin Y, Qadir HA, Aabakken L et al. Automatic colon polyp detection using region based deep CNN and post learning approaches. IEEE Access 2018; 6: 40950–40962. doi: 10.1109/ACCESS.2018.2856402.

8. Selvaraju RR, Das A, Vedantam R et al. Grad-CAM: visual explanations from deep networks via gradient-based localization. Int J Computer Vision 2020; 128 (2): 336–359. doi: 10.1007/s11263-019-01228-7.

9. He K, Zhang X, Ren S et al. Deep residual learning for image recognition. 2015 [online]. Available from: http: //arxiv.org/abs/1512.03385.

10. Barua I, Vinsard DG, Jodal HC et al. Artificial intelligence for polyp detection during colonoscopy: a systematic review and meta-analysis. Endoscopy 2021; 53 (3): 277–284. doi: 10.1055/a-1201-7165.