Blog

Healthcare and medical doctor working in hospital with professional team in physician, nursing assistant, laboratory research and development. Medical technology service to solve people health problem

<h3>Standardizované rámce pro hodnocení AI v medicíně: Klíčové aspekty hodnocení&nbsp;</h3>V minulém díle jsme se bavili o tom, že umělá inteligence (AI) je mladá technologie, jejíž adopce probíhá někdy až velmi rychle. Stále však chybí konsenzus ohledně účinných metod hodnocení těchto aplikací. Vzhledem k tomu, že jde o nové pole, zatím neexistuje mnoho standardizovaných metod testování AI v medicíně. Místo nich se setkáváme především s obecnými rámci (frameworky).Crossnohere a kol. (1) se tímto problémem zabývali a identifikovali existující rámce, které usměrňují používání a hodnocení AI. Analýza čtrnácti těchto rámců odhalila pět klíčových aspektů:🌐 Transparentnost&nbsp;Transparentnost zahrnuje nejen možnost sledovat, jak AI dospěla k určitému výsledku, včetně míry jistoty dané interpretace, ale také celý proces vývoje, validace a následného dohledu.🔄 Reprodukovatelnost&nbsp;Výsledky AI musí být ověřitelné v různých podmínkách. Princip „stejné vstupy = stejné výsledky“ zajišťuje vědeckou přesnost a umožňuje nezávislé ověření.⚖️ Etika&nbsp;Respekt k pacientům, spravedlivé zastoupení a ochrana soukromí jsou klíčovými principy, které musí být zohledněny ve všech fázích vývoje i implementace AI.💡 EfektivitaAI musí mít reálný přínos pro klinickou praxi, například zlepšovat diagnózy, šetřit čas lékařů nebo snižovat náklady. Efektivita zahrnuje také zajištění kvality dat a adaptabilitu modelů na různá prostředí.👥 Zapojení a dohled&nbsp;Aktivní zapojení zdravotníků, pacientů a kontinuální monitoring AI systémů během jejich vývoje a testování zajišťují, že výsledné technologie odpovídají reálným potřebám a očekáváním. Průběžné sledování navíc garantuje, že systémy zůstávají bezpečné, spolehlivé a aktuální.(Tato oblast je dle studie nejvíce opomíjená.) 🔍 Co si z toho odnést?Rámce identifikované v této studii poskytují důležitý základ pro hodnocení a implementaci AI v medicíně, ale také odhalují mezery, zejména v oblastech dlouhodobého dohledu a zapojení uživatelů.&nbsp;Pro zajištění reálného přínosu a bezpečnosti AI je nezbytné zaměřit se na všechny klíčové aspekty, a to od transparentnosti přes etiku až po efektivitu.V rámci adopce samotné technologie je, kromě zmíněných rámců, technických standardů, testování a metrik, klíčová také důkladná edukace a školení zdravotnických profesionálů. Tyto kroky jim umožní technologii efektivně a odpovědně využívat. (2)Reference: [<a data-mce-href="https://www.jmir.org/2022/8/e36823" href="https://www.jmir.org/2022/8/e36823">1</a>], [<a data-mce-href="https://pmc.ncbi.nlm.nih.gov/articles/PMC10292051/pdf/cureus-0015-00000039305.pdf" href="https://pmc.ncbi.nlm.nih.gov/articles/PMC10292051/pdf/cureus-0015-00000039305.pdf" data-mce-selected="inline-boundary">2</a>]

Standardizované rámce pro hodnocení AI v medicíně: Klíčové aspekty hodnocení

Syringe with needle and plastic tubes for central venous catheter insertion

<h3>Důležitost standardizované metodologie při testování AI v medicíně - RADIOLOGIE&nbsp;</h3>Jakmile se umělá inteligence (AI) začne používat v klinické praxi, nastupuje otázka: Jak tuto AI spravedlivě a objektivně otestovat, aby opravdu pomáhala a nepřinášela matoucí či neověřené výsledky?&nbsp;Vzhledem k tomu, že jde o nové pole, zatím neexistuje mnoho standardizovaných metod testování AI v medicíně. Spíše se setkáváme s obecnými rámci (frameworky).V dalších dílech se zaměříme na testování AI v medicíně obecně. Dnes však představím recentní studii „ReXrank: A Public Leaderboard for AI-Powered Radiology Report Generation“, která se zabývá standardizovaným testováním pomocí benchmarků a tabulek porovnávajících různé AI modely podle jejich schopnosti generovat radiologické zprávy.Standardizované hodnocení díky ReXrank&nbsp;Studie představuje benchmark – sadu nástrojů, které umožňují testovat modely na jednotné sadě dat pomocí široké škály metrik. Například metrika RadCliQ zohledňuje jak textovou podobnost, tak klinickou přesnost. Hodnotí, jak blízko je výstup AI zprávě lékaře a nakolik je informace z klinického hlediska správná.&nbsp;Nejde tedy jen o to, aby výstup "zní správně", ale aby skutečně správný byl.K testování využívá komplexní dataset (veřejné i soukromé datové sady), který vhodně reprezentuje různá zdravotnická zařízení, modality a přístroje. Tento přístup pomáhá zjistit, zda si model poradí i s neznámým prostředím či odlišnou demografií pacientů. Bez takové diverzity dat hrozí, že model bude fungovat jen „domacím pracovišti“ a nikde jinde.Tento přístup poskytuje jednotný rámec pro porovnávání výkonu modelů, bez ohledu na to, jakou strategii využívají, což je v medicíně klíčové. Pokud by každý tým testoval AI na odlišných snímcích a s jinými metrikami, nebylo by možné určit, který model je skutečně lepší nebo vhodnější pro praxi.Další zajímavosti z této studie:Problém s interpretací nálezů: Beyond picture&nbsp;AI modely pro generování radiologických zpráv už neslouží jen k rozpoznávání lézí na snímcích, ale snaží se vytvořit kompletní lékařskou zprávu, včetně klíčové části „impression“. Právě tato část představuje pro AI unikátní výzvu, protože vyžaduje tzv. higher reasoning a klinické znalosti, které přesahují rámec pouhého popisu obrazu. V této oblasti však AI stále zaostává.Tato omezení zdůrazňují, že pro další pokrok v této oblasti není dostačující pouze zlepšování schopnosti analýzy obrazu. Klíčovým krokem bude naučit AI chápat klinické souvislosti a vytvářet smysluplné závěry, které odpovídají úrovni lidského uvažování a odborného úsudku. To je zásadní nejen pro efektivní interpretaci snímků, ale i pro skutečné porozumění klinickému kontextu.Praktický dopad&nbsp; Standardizovaný testovací rámec pomůže lékařům, vývojářům i regulátorům lépe hodnotit AI v medicíně. Výsledkem je rychlejší a bezpečnější integrace do klinické praxe, kde budou lékaři vědět, že se na AI mohou skutečně spolehnout.Reference: [<a data-mce-href="https://arxiv.org/abs/2411.15122" href="https://arxiv.org/abs/2411.15122">1</a>]

Důležitost standardizované metodologie při testování AI v medicíně - RADIOLOGIE

'Medical Equipment on White Wooden Background'

<h3>Problém s lékařskou terminologií v prostředí AI</h3> Představte si, že máte model, který brilantně analyzuje filmové recenze nebo odpovídá na obecné otázky. Ale když přijde na medicínská data, začne tápat. Proč? Protože medicínská terminologie je plná specifických zkratek a kontextů, které jsou klíčové pro správné porozumění.Například zkratka "ALS" označuje amyotrofickou laterální sklerózu, vážné neurologické onemocnění. Ale obecný model by mohl tuto zkratku interpretovat naprosto chybně – možná by si myslel, že jde o název nějakého sportovního klubu nebo dokonce novou technologickou firmu!Pojďme si uvést příklad, jak se dá tento typ problému řešit.&nbsp;Jemné doladění (Fine-tuning)&nbsp;Jak zajistit, aby model správně rozuměl „medicínskému jazyku“? Klíčem je jemné doladění, známé také jako fine-tuning (v tomto případě embeddingových modelů). Tento proces spočívá v dotrénování modelu na menším, specializovaném zdroji dat zaměřeném na medicínskou terminologii. Je to podobné, jako kdybyste poslali váš model na lékařskou fakultu, aby se naučil mluvit jazykem lékařů.&nbsp;Kontrastní ztráta (Contrastive Loss)&nbsp;Kontrastní ztráta trénuje model tak, aby rozpoznával jemné rozdíly. Funguje to tak, že modelu předložíte dotaz, správnou odpověď a rušivou (nesprávnou) odpověď. Tím se model učí rozlišovat mezi tím, co je správné a co ne, což zlepšuje jeho přesnost a schopnost poskytovat relevantní výsledky.Představte si, že učíte model rozeznávat ručně psané číslice: ukážete mu obrázek čísla „5“ (dotaz), potvrdíte, že je to opravdu „5“ (správná odpověď), a zároveň mu ukážete obrázek „6“ (rušivá odpověď). Porovnáním „5“ a „6“ se model naučí rozeznávat jemné rozdíly mezi nimi.Využití syntetických dat&nbsp;Ale kde vzít dostatek kvalitních medicínských dat? V procesu trénování medicínské AI je potřeba používat spolehlivé zdroje zdravotních informací (například z PubMedu…), ale lze také využít vygenerovaná „syntetická data“ pomocí modelů, jako je například Llama, které vycházejí z těchto dat.Výsledky mluví za vše&nbsp;Takto doladěné modely často překonávají i mnohem větší modely v oblíbených benchmarkových testech zaměřených na medicínské úlohy. To znamená přesnější diagnostiku, lepší porozumění pacientovým potřebám a celkově efektivnější zdravotní péči.

Problém s lékařskou terminologií v prostředí AI

<h3>Umělá inteligence v medicíně: Od potenciálu k praxi</h3>Dnes často slyšíme, že AI dokáže vyřešit největší problémy zdravotnictví. Zdá se, že tento potenciál skutečně existuje. Ovšem zorientovat se nejen ve širokém pojmu "umělá inteligence (AI)", ale také v komplexních a ambiciózních projektech s ní často spojených, je náročné.Problém těchto přístupů je, že mnohdy přehlížejí zdánlivé drobnosti, které však mohou mít zásadní vliv na každodenní lékařskou praxi.&nbsp;Jedním z příkladů praktického využití AI je tato malá skandinávská studie, která demonstruje, v čem je AI skvělá (v tomto případě LLM) – konkrétně v sumarizaci a generování textu. Studie ukazuje, jak AI může zjednodušit klinické kódování, tedy převod lékařské dokumentace do standardizovaných kódů ICD-10 (MKN-10).&nbsp;🔍 Klíčová zjištění:<ul><li>Nástroj Easy-ICD (na bázi AI) zkrátil dobu potřebnou pro kódování komplexních lékařských zpráv o 46 %. </li><li>Ačkoli se přesnost jen mírně zvýšila, výsledky potvrzují, že asistivní technologie může lékařům ulehčit administrativní zátěž a přispět k přechodu na nové standardy, jako je ICD-11.</li></ul>V našich podmínkách si podobné technologie lze mimo jiné snadno představit i při vykazování kódů pojišťovně.&nbsp;Tohle je jeden z mnoha kroků, jak může AI přinést praktické zlepšení zdravotní péče do každodenní a běžné praxe lékařů.Reference: [<a data-mce-href="https://arxiv.org/pdf/2410.23725" href="https://arxiv.org/pdf/2410.23725">1</a>]

Umělá inteligence v medicíně: Od potenciálu k praxi

Female Asian Neuroscinetist Using Interactive Touch Screen Table With MRI Scans On Display In Modern Biotechnology Research Center. Doctor Developing Innovative Devices For People With Alzheimer's.

<h2>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 7)</h2><h2> Multidisciplinární přístup a ‘‘Advanced reasoning‘‘: možnosti a omezení</h2>V předchozích dílech jsme se zabývali možnostmi a omezeními RAG (Retrieval-Augmented Generation) a optimalizací generování textu pomocí různých strategií. Další významnou výzvou v multidisciplinárním přístupu je uvažování neboli reasoning ve velkých jazykových modelech (LLM).🧠 Schopnosti uvažování velkých jazykových modelůVelké jazykové modely (LLM) prokázaly určitý stupeň schopnosti uvažování nejen v medicínském kontextu. Jako příklad si uveďme studii demonstrující jejich schopnosti u lékařských zkoušek pro neurology (Neurology Board-Style Examination), kde modely jako GPT-3.5 a GPT-4 dokázaly překonat lidské účastníky. Konkrétně GPT-4 dosáhl 85% úspěšnosti, čímž překonal GPT-3.5 (66,8 %) i lidské účastníky testu (73,8 %). I když GPT-4 exceloval v úlohách nižšího kognitivního řádu, jako je zapamatování a porozumění, měl potíže s úlohami vyššího řádu, které vyžadují aplikaci znalostí, hlubší analýzu a syntézu informací. Přesto studie naznačuje potenciál GPT-4 v klinické neurologii a naznačuje, že s dalším zdokonalením by LLM mohly významně ovlivnit lékařské vzdělávání a praxi (1).LLM také vykazují slibné výsledky i v jiných medicínských disciplínách, například při skládání zkoušek typu United States Medical Licensing Examination (2,3).🔎 Omezení uvažování v LLMJe však důležité si uvědomit, že v situacích, které vyžadují řešení složitých úloh, abstrakci nebo setkání se scénáři, které nejsou obsaženy v trénovacích datech, mají LLM tendenci selhávat. Toto omezení naznačuje, že tyto modely jsou více zaměřeny na napodobování uvažování než na skutečné projevy schopnosti uvažování.Například modely jako GPT-4 mají potíže s autonomním vytvářením správných plánů samostatně. Představte si jednoduchou hru s kostkami nazvanou Blocksworld, kde je cílem přesunout bloky z jednoho uspořádání do jiného pomocí série kroků. V této situaci dosáhl GPT-4 úspěšnosti pouze kolem 34 %, což ukazuje na významná omezení v jeho schopnosti plánovat bez vnější pomoci. Když vědci úkol ještě ztížili tím, že skryli názvy akcí (v tzv. "mystery Blocksworld"), výkon modelu se dále zhoršil. To naznačuje, že model se spíše spoléhá na rozpoznávání vzorů než na skutečné logické uvažování—a má tedy potíže s abstraktním myšlením. (4)🚀 Budoucí směřování a možnosti zlepšeníNavzdory pokroku ve vývoji velkých jazykových modelů (LLM) současné studie jasně ukazují, že modely ještě nejsou připraveny zvládnout složité vícekrokové úlohy, jako je například plánování cest. Pro tyto účely byl vytvořen praktický benchmark simulující plánování cest ve stylu cestovní kanceláře nazvaný TravelPlanner, který dokazuje, že i pokročilé modely, jako je GPT-4, dosahují v této aplikaci míry úspěšnosti pouze 0,6 %. Běžné problémy, jako jsou chybný úsudek, nesprávné vyhledávání informací a halucinace, se často objevují, když jsou LLM tlačeny za hranice svých současných schopností. Přestože tyto modely vykazují značný potenciál, jejich nasazení v reálných scénářích zahrnujících složité a vícekrokové úkoly zůstává velmi omezené (5).S ohledem na současný pokrok, zejména v jednodušších úlohách, věříme, že kombinace těchto technologií s dalším výzkumem v oblastech, jako je "mixture of agents" a s pokroky, jako jsou pokročilejší aplikace "chain of thought" demonstrované v ChatGPT o1-preview, by mohla nakonec odemknout jejich potenciál pro praktické aplikace ve složitějších úlohách.Reference: [<a data-mce-href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1" href="https://www.medrxiv.org/content/10.1101/2023.07.13.23292598v1">1</a>], [<a data-mce-href="https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000205" href="https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000205">2</a>], [<a data-mce-href="https://mededu.jmir.org/2023/1/e45312" href="https://mededu.jmir.org/2023/1/e45312">3</a>], [<a data-mce-href="chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://arxiv.org/pdf/2305.15771" href="chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://arxiv.org/pdf/2305.15771">4</a>], [<a data-mce-href="https://arxiv.org/pdf/2402.01622" href="https://arxiv.org/pdf/2402.01622" data-mce-selected="inline-boundary">5</a>]

udoucnost lékařské praxe: AI a velké jazykové modely (díl 7)

Robotic assisted surgery machine in operating room

<h3>Budoucnost lékařské praxe: AI a velké jazykové modely (díl 6)</h3><h3> Multidisciplinární přístup a RAG: možnosti a omezení</h3>🧠 Multidisciplinární přístup pomocí RAGKoncept Retrieval-Augmented Generation (RAG) představuje zajímavou možnost integrace poznatků různých lékařských oborů. Tato metoda umožňuje využít znalosti nejen chirurgických oborů (neurochirurgie, všeobecná chirurgie atd.), ale také znalosti interních oborů či dalších odborností, což může vést k poskytování komplexnějších výstupů vycházejících z průniku těchto disciplín. RAG kombinuje schopnosti velkých jazykových modelů se schopností napojit se na externí databáze a poskytovat tak aktuální a široké informace, čímž může lépe podporovat multidisciplinární a holistický přístup v medicíně.🔎 Omezení integrace s RAGI když RAG nabízí značný potenciál pro aplikace v medicíně, čelí také inherentním omezením. Zatímco velké jazykové modely (LLM) jsou trénovány na rozsáhlých datových sadách, které jim umožňují pochopit komplexní vztahy a kontexty na základě jejich interních dat, RAG se spoléhá na schopnost efektivně vyhledávat a integrovat relevantní informace z externích zdrojů. Zatímco tento přístup může nabídnout aktuální a specifické informace, jeho účinnost při zachycování kritických "intersekčních informací" z více zdrojů do značné míry závisí na kvalitě vyhledávacího (retrieval) procesu a také na kvalitě a aktuálnosti těchto zdrojů. Novější implementace RAG některé z těchto výzev řeší, technologie však stále naráží na omezení v určitých aspektech (viz díl 5).🚀 Optimalizace generování textuPřes výhody větších LLM mají i tyto sofistikované modely svá omezení. Například LLM obvykle spoléhají na strategii "greedy search" ve výchozím nastavení. Tato metoda vybírá v každém kroku token (slovo) s nejvyšší pravděpodobností, což může někdy vést k opakujícím se a suboptimálním sekvencím. Hlavním problémem je, že zatímco greedy přístup maximalizuje okamžitou pravděpodobnost, může přehlédnout lepší větné sekvence, které jsou skryty za nižšími počátečními pravděpodobnostmi.K řešení tohoto omezení se často využívá strategie "beam search". Beam search zlepšuje greedy přístup tím, že udržuje více hypotéz (tzv. "paprsků") v každém kroku a nakonec vybírá sekvenci s nejvyšší celkovou pravděpodobností. Tato metoda umožňuje paralelní prozkoumávání více možností, což vede k optimálnějšímu řešení vyvážením mezi průzkumem a využitím.Zatímco strategie jako top-K sampling a úprava temperature zavádějí do procesu generování náhodnost, což může zvýšit kreativitu na základě toho, že činí text méně předvídatelný. Nicméně vyšší úroveň nepředvídatelnosti nemusí být vhodná pro aplikace vyžadující přesnost, jako je medicína. Naopak, beam search jakožto deterministická metoda se zaměřuje na nalezení nejkoherentnější a optimální sekvence, což z ní činí spolehlivější volbu pro úkoly, které vyžadují přesnost a konzistenci. (1)Další výzvou v multidisciplinárním přístupu je uvažování (reasoning), o tom si povíme více v dalším díle.Reference: [<a data-mce-href="https://huggingface.co/blog/how-to-generate" href="https://huggingface.co/blog/how-to-generate">1</a>]

Budoucnost lékařské praxe: AI a velké jazykové modely (díl 6)

Česká lékařská komora - Sekce mladých lékařů ČLK

Sekce mladých lékařů ČLK vznikla s cílem sdružovat a zastupovat zájmy mladých lékařů především v oblasti postgraduálního vzdělávání, ale také v oblasti problematiky finančního ohodnocení a pracovních podmínek. Mladí lékaři ČLK se budou snažit, aby při důležitých rozhodováních ohledně směřování medicíny v ČR byl slyšen a brán v potaz i názor mladých lékařů.

Archiv článků

Standardizované rámce pro hodnocení AI v medicíně: Klíčov...

Důležitost standardizované metodologie při testování AI v...

Problém s lékařskou terminologií v prostředí AI

Umělá inteligence v medicíně: Od potenciálu k praxi

udoucnost lékařské praxe: AI a velké jazykové modely (díl 7)

Budoucnost lékařské praxe: AI a velké jazykové modely (dí...