Umělá inteligence při tvorbě odborného medicínského textu – dobrý sluha, ale zlý pán

Download PDF

Authors: M. Májovský; M. Černý; D. Netuka
Authors‘ workplace: Neurochirurgická a neuroonkologická klinika 1. LF UK a ÚVN – VFN Praha
Published in: Cesk Slov Neurol N 2023; 86(3): 205-207
Category: Letter to Editor
doi: https://doi.org/10.48095/cccsnn2023205

Vážená redakce,

umělá inteligence (artificial intelligence; AI) se v medicíně stává čím dál důležitějším nástrojem. Využívá se k analýze velkých množství dat, identifikaci vzorců a odhalování souvislostí. To umožňuje objevovat nové informace a poskytovat zdroje pro výzkum a vylepšování diagnostiky a léčby. V současné době je nejpropracovanější analýza obrazu, zejména v oblasti radiodiagnostiky.

Další oblastí, kde AI nachází uplatnění, je příprava rukopisu odborného článku a zlepšení jeho kvality a přesnosti. Často se používá při jazykové korektuře nebo přímo při překladu textu. Další možností je využití AI k identifikaci klíčových slov a frází v článku, což může zlepšit jeho citovanost a míru vyhledávání. AI také může pomoci s automatickým dohledáváním relevantních literárních zdrojů a citací.

Souběžně s příchodem velkých jazykových modelů postavených na neuronových sítích se objevuje riziko zneužití AI v medicínské odborné literatuře k tvorbě podvodů [1]. Například může dojít k manipulaci s výsledky studií, kdy jsou data upravena tak, aby podpořila určitou hypotézu nebo produkt. Dokonce nejsme daleko od doby, kdy AI bude schopna vytvořit kompletně celý podvodný článek sama.

Jedním z velkých jazykových modelů je ChatGPT od společnosti OpenAI [2], který je veřejnosti zdarma dostupný od listopadu roku 2022. Je schopen rozumět a generovat lidskou řeč a využívá se různými způsoby, jako jsou chatboty, překladatelské programy, generování textů a mnoho dalších aplikací. ChatGPT používá obecnější model GPT-3 (v současné době i novější verzi GPT--4), je trénován na obrovském množství dat a využívá nejmodernější technologie strojového učení, aby byl schopen generovat texty, které jsou přirozené a srozumitelné. Jeho schopnost porozumět jazyku a generovat texty ho činí užitečným nástrojem pro mnoho odvětví, vč. medicíny.

Pro demonstraci možností ChatGPT jsme využili téma, které jsme zpracovali formou krátkého sdělení v tomto čísle Cesk Slov Neurol N – úrazy hlavy a mozku na koloběžkách. Požádali jsme AI, aby v češtině vytvořila abstrakt k článku na toto téma a poté i diskuzi. ChatGPT (konkrétně volně přístupná verze GPT-3.5) vygeneroval kompletně fabrikovaný text vč. číselných údajů, který velmi dobře imituje vědeckou práci. V další konverzaci jsme požádali o kritické poznámky k vygenerovanému textu pro případ recenze a na závěr o návrh dalšího směru výzkumu. Celou konverzaci přikládáme na konci tohoto článku. Pro úplnost dodejme, že první autor tohoto článku neměl v době komunikace s ChatGPT k dispozici rukopis skutečné původní práce na stejné téma [3].

Výstup, který nám ChatGPT poskytl, působí na první pohled velmi autenticky. Bez dodání konkrétnějších informací dokáže AI správně uchopit téma a napsat konzistentní pojednání, které odpovídá danému formátu. Po odborné stránce nenalézáme zásadní chyby, úroveň českého jazyka je velmi vysoká. Při bližším zkoumání však vychází najevo, že lidský zásah a úpravy by byly před podáním k eventuální recenzi nezbytné. Text místy působí velmi obecně, v části diskuze zatím neumí tento chatbot přiřadit správné citace.

Současná verze ChatGPT byla trénována na datech do září 2021. V tuto chvíli nemá přístup do databází (např. PubMed) či webových vyhledávačů. Další omezení představují délka vygenerovaného textu a schopnost interpretovat vztahy mezi informacemi nacházejícími se na vzdálených místech v textu, ale logicky souvisejícími. Je pravděpodobné, že příčinou tohoto omezení je fixní velikost latentního prostoru, ve kterém model udržuje veškeré kontextuální informace o zpracovávaném textu. Jednou z inovací, kterou GPT-3 překonává své předchůdce, především rekurzivní jazykové modely, je schopnost komprimovat předchozí kontext a připojit k němu nové informace, a přesto zpracování delších textů a jejich logická koherence stále mohou být nedokonalé.

V posledních letech se výkon nejpokročilejších AI zdvojnásobuje každých 6 měsíců, což výrazně překonává klasický Moorův zákon [4,5]. V řádu několika málo let téměř jistě bude k dispozici nástroj, jenž překoná mnohé výše zmíněné nedostatky ChatGPT. Již nyní např. OpenAI spolupracuje s Microsoftem (Redmond, WA, USA) na nástroji, jenž spojí GPT-4 a vyhledávač (tzv. New Bing), čímž AI získá přístup k daleko většímu množství aktuálních dat. Na podobném projektu pracuje i společnost Google (Mountain View, CA, USA) – LaMDA, Bard. S rozvojem jazykových modelů přibývá i nástrojů pro detekci textu vytvořeného AI (např. volně dostupné AI Detector či AI Text Classifier). Jejich schopnosti jsou však omezené a nelze je považovat za spolehlivé [6–8].

Stojíme nepochybně na prahu nové éry, kdy AI bude hrát klíčovou roli prakticky ve všech oblastech našich životů. V klinické medicíně se jistě bude podílet na diagnostice a personalizované léčbě pacientů, v akademické sféře pak na zpracování dat, tvorbě textu a jazykové korektuře. Bude se jednat o naprosto legitimní zjednodušení práce pro autory publikací, zároveň však může některé z nich svádět k podvodnému jednání. Je potřeba tuto realitu přijmout a adekvátně přizpůsobit systém pregraduálního i postgraduálního vzdělávání, stejně jako způsob publikací odborných a vědeckých textů.

Finanční podpora

Podpořeno Univerzitou Karlovou (Cooperatio Neuroscience) a Ministerstvem obrany ČR (MO1012).

Konflikt zájmů

Autoři deklarují, že v souvislosti s předmětem studie nemají žádný konflikt zájmů.

mjr. MUDr. Martin Májovský, Ph.D.
Neurochirurgická
a neuroonkologická klinika
1. LF UK a ÚVN – VFN Praha
U Vojenské nemocnice 1200/1
162 00 Praha
e-mail: majovmar@uvn.cz

Přijato k recenzi: 3. 3. 2023
Přijato do tisku: 5. 6. 2023

Sources

1. Liebrenz M, Schleifer R, Buadze A et al. Generating scholarly content with ChatGPT: ethical challenges for medical publishing. Lancet Digit Heal 2023; 5(3): e105–e106. doi: 10.1016/ S2589-7500(23)00019-5.

2. ChatGPT. [online]. Available form: https:/ / chat.openai.com/ chat.

3. Černý M, Májovský M, Blecha J et al. Analýza souboru pacientů s poraněním hlavy a obličeje při úrazech na koloběžkách v letech 2010 až 2022 ošetřených v Ústřední vojenské nemocnici v Praze. Cesk Slov Neurol N 2023; 86/119(3): 201–204. doi: 10.48095/cccsnn2023201.

4. Moore GE. The future of integrated electronics. Fairchild Semiconductor 1965.

5. Sevilla J, Heim L, Ho A et al. Compute trends across three eras of machine learning. In: 2022 International Joint Conference on Neural Networks (IJCNN). IEEE 2022. 1–8.

6. Májovský M, Černý M, Kasal M et al. Artificial intelligence can generate fraudulent but authentic-looking scientific medical articles: Pandora’s box has been opened. J Med Internet Res 2023; 25: e46924. doi: 10.2196/ 46924.

7. Anderson N, Belavy DL, Perle SM et al. AI did not write this manuscript, or did it? Can we trick the AI text detector into generated texts? The potential future of ChatGPT and AI in Sports & Exercise Medicine manuscript generation. BMJ Open Sport Exerc Med 2023; 9(1): e001568. doi: 10.1136/ bmjsem-2023-001568.

8. Else H. Abstracts written by ChatGPT fool scientists. Nature 2023; 613(7944): 423. doi: 10.1038/ d41586-023-00056-7.