Blog

A professional and focused Asian female doctor in scrubs is working and reading medical research on her laptop in her office at a hospital.

Milí kolegové a příznivci moderních technologií v medicíně, rád bych se dnes zaměřil na téma, které v posledních letech silně rezonuje mezi mladými lidmi – a to využívání generativních AI modelů jako doplňku (nebo dokonce náhrady) psychoterapie u generace Z. Pandemie, prudký rozvoj velkých jazykových modelů (Large Language Models, LLM) v letech 2022–2023 a celková digitalizace každodenního života způsobily, že se chatboti typu ChatGPT, Replika či čínský DeepSeek stávají „novou oporou“ při řešení duševních obtíží.&nbsp; Generativní AI jako podpora duševního zdraví (1)Generativní AI chatboti nabízejí neustálou dostupnost a pocit anonymity, což je pro mladé lidi velmi atraktivní. Omezený přístup ke klasické psychoterapii, vysoké náklady na tradiční péči a přetrvávající stigma spojené s vyhledáváním pomoci jsou jen některé z faktorů, které přispívají k oblibě těchto digitálních asistentů. Tato technologie umožňuje uživatelům získat okamžitou podporu kdykoli, aniž by museli čekat na schůzku s odborníkem.&nbsp; Hlavní důvody, proč se mladí obracejí k AI: (2)Nepřetržitá dostupnost: AI systémy jsou k dispozici 24/7, což je zásadní zejména v krizových situacích nebo v době, kdy tradiční služby nejsou dostupné.Nízké náklady: V porovnání s tradiční terapií jsou tyto služby často bezplatné nebo levnější, což umožňuje širšímu spektru uživatelů přístup k podpoře.Anonymita a nedostatek předsudků: Digitální komunikace pomáhá překonávat bariéry spojené se stigmou, neboť uživatel může otevřeně sdílet své problémy bez obav z odsouzení.&nbsp; Technické a bezpečnostní výzvy (3)„Hallucinace“ a nepřesné informace: AI může generovat odpovědi, které znějí věrohodně, ale jsou fakticky nesprávné. Taková chyba může vést k nesprávnému sebe-diagnostikování nebo dokonce k zavádějícím radám v krizových situacích&nbsp;Zranitelnost vůči manipulaci: Prompt injection nebo jailbreak útoky mohou způsobit, že AI překročí své bezpečnostní filtry a poskytne nevhodné či dokonce nebezpečné rady.Ochrana soukromí: Sdílené citlivé osobní údaje nejsou vždy dostatečně chráněny, což zvyšuje riziko zneužití dat a případných úniků informací. Vliv generativních AI na psychoterapeutickou praxi je nepopiratelný. Mnozí odborníci varují. (4)AI nemůže nahradit lidský kontakt: Přestože chatboti mohou nabídnout užitečné nástroje a podpůrné techniky, nenahradí hlubokou empatii a schopnost komplexně pochopit lidské emoce, kterou poskytuje kvalifikovaný terapeut.Nutnost integrace AI do praxe: Někteří profesionálové již experimentují s hybridními modely, kde AI zajišťuje rutinní podporu a monitorování, zatímco terapeut dohlíží na celkový proces péče.Výzva k další digitalizaci: Existence těchto nástrojů nutí psychoterapeuty, aby se sami stali digitálně gramotnějšími a byli schopni reflektovat a diskutovat o AI radách, které jejich klienti mohou obdržet.Reference: [<a data-mce-href="https://www.weforum.org/stories/2024/10/how-ai-could-expand-and-improve-access-to-mental-health-treatment/" href="https://www.weforum.org/stories/2024/10/how-ai-could-expand-and-improve-access-to-mental-health-treatment/">1</a>] [<a data-mce-href="https://www.weforum.org/stories/2024/10/how-ai-could-expand-and-improve-access-to-mental-health-treatment/" href="https://www.weforum.org/stories/2024/10/how-ai-could-expand-and-improve-access-to-mental-health-treatment/">2</a>] [<a data-mce-href="https://www.egyptindependent.com/how-gen-z-is-turning-to-ai-for-the-comforts-of-therapy/" href="https://www.egyptindependent.com/how-gen-z-is-turning-to-ai-for-the-comforts-of-therapy/">3</a>] [<a data-mce-href="https://www.context.news/ai/chatbots-pose-challenge-to-guarding-child-mental-health" href="https://www.context.news/ai/chatbots-pose-challenge-to-guarding-child-mental-health">4</a>]

AI Terapie

<h3>Význam lidského hodnocení a aplikace ''reasoning'' modelů v klinické medicíně</h3>Milí kolegové a příznivci moderních technologií ve zdravotnictví,v minulém díle jsme se věnovali standardizovaným rámcům. Dnes se zaměříme na roli lidského faktoru v hodnocení, a to i ve vztahu k novým reasoning modelům. 🧑‍⚖️Lidské hodnocení zůstává v oblasti evaluace velkých jazykových modelů (LLM) klíčové, neboť umožňuje zachytit jemné nuance a odhalit potenciální předsudky, které automatizované metriky často opomíjejí. Současně je však spojeno s inherentní subjektivitou, variabilitou úsudků a značnou časovou i finanční náročností, což komplikuje získání konzistentních a reprezentativních výsledků. [1] Tato problematika je obzvláště patrná v klinických aplikacích, kde standardní NLP benchmarky často nedokážou plně reflektovat specifické požadavky prostředí, a proto se lidské hodnocení i nadále považuje za zlatý standard. [2,3] 💡Příkladem důsledků nedostatečné kontroly je detekce COVID-19 z RTG snímků. Některé modely se naučily spoléhat na nediagnostické prvky, jako jsou nastavení přístroje či textové anotace, místo skutečných patologických změn v plicích. To vedlo k chybným závěrům a špatné přenositelnosti mezi nemocnicemi. Tento případ zdůrazňuje nutnost různorodých a reprezentativních dat, přísné validace a lidského dohledu, aby AI zaměřila svou analýzu na skutečně relevantní lékařské informace. [4] 💻 Aby bylo lidské hodnocení generovaných textů konzistentnější a objektivnější, vznikají nástroje jako HumanELY. Tento standardizovaný systém využívá Likertovu škálu a pět klíčových metrik (relevance, pokrytí, koherence, škodlivost a srovnání) k systematickému porovnání generovaného a referenčního textu. Tím snižuje subjektivní zkreslení a zajišťuje reprodukovatelnější výsledky. [5]. 📊S nástupem nové generace AI modelů, které disponují schopnostmi podobnými „chain-of-thought“ uvažování, se otevírají možnosti, jak dále podpořit a zpřesnit evaluaci LLM. Například systém VeriFact, představený ve stanfordsko-medicínské studii, nejenže dokáže automatizovaně ověřovat, zda generované klinické texty odpovídají informacím z elektronických zdravotních záznamů (EHR), ale zároveň detailně vysvětluje své rozhodovací procesy a poskytuje konkrétní důkazy k jednotlivým hodnocením. [6]To výrazně posouvá vztah člověk/stroj a umožňuje lékařům (v širším slova smyslu i anotátorům) ulehčit práci. (detailed evidence for every decision). ✨ Zatímco reasoning modely vykazují velmi dobré výsledky v situacích, kdy existuje benchmark, jejich přímá aplikace v klinické praxi stále vyžaduje pečlivou validaci a doplňkovou lidskou kontrolu, aby byla zajištěna bezpečnost a kvalita výsledků.Do budoucna mohou technologie, jako např. simulace na digitálních dvojčatech, vytvořit benchmark i pro klinické aplikace a umožnit širší využití těchto metod i v netechnických oborech. Nicméně tam zatím nejsme.Reference: [<a data-mce-href="https://toloka.ai/blog/evaluating-llms/#the-importance-of-evaluating-llms" href="https://toloka.ai/blog/evaluating-llms/#the-importance-of-evaluating-llms">1</a>] [<a data-mce-href="https://arxiv.org/pdf/2309.07430" href="https://arxiv.org/pdf/2309.07430">2</a>] [<a data-mce-href="https://www.medrxiv.org/content/10.1101/2023.12.22.23300458v2.full.pdf" href="https://www.medrxiv.org/content/10.1101/2023.12.22.23300458v2.full.pdf">3</a>] [<a data-mce-href="https://www.nature.com/articles/s42256-021-00338-7" href="https://www.nature.com/articles/s42256-021-00338-7">4</a>] [<a data-mce-href="https://www.medrxiv.org/content/10.1101/2023.12.22.23300458v2.full.pdf" href="https://www.medrxiv.org/content/10.1101/2023.12.22.23300458v2.full.pdf">5</a>] [<a data-mce-href="https://arxiv.org/abs/2501.16672" href="https://arxiv.org/abs/2501.16672" data-mce-selected="inline-boundary">6</a>]

Význam lidského hodnocení a aplikace ''reasoning'' modelů v klinické medicíně

Milí kolegové a příznivci moderních technologií v medicíně,dovolte mi představit Med-PaLM 2 – průlomový velký jazykový model přizpůsobený pro aplikaci v medicíně. Díky této specializaci dosahuje model v testech, inspirovaných například USMLE, přes 85 % správnosti – což dokládá jeho teoretickou úroveň znalostí.&nbsp;Od dubna 2023 je model k dispozici vybraným partnerům, přičemž první pilotní projekty se rozběhly například v prestižní Mayo Clinic.💡 Klíčové vlastnosti a přínosy Med-PaLM 2- Multimodální schopnosti: Model je vyvíjen i pro zpracování lékařských obrazových dat, což umožňuje jeho využití v radiologii – od předběžné interpretace rentgenových snímků až po sumarizaci nálezů. - Podpora ambulantní péče: V ambulancích Med-PaLM 2 pomáhá s edukací pacientů, převádí odborné termíny do laického jazyka či jazyka pacienta a usnadňuje administrativní procesy, například tvorbou lékařské dokumentace z rozhovoru mezi lékařem a pacientem. Podobně pomáhá i v nemocničním provozu při generování shrnutí pro předávání pacientů mezi směnami - Rozšířená znalostní báze: Díky rozsáhlému tréninku na medicínských datech dokáže model rychle vyhledat relevantní informace a poskytnout kontext z odborné literatury a aktuálních guidelines, což podporuje rozhodování založené na důkazech. 📈 Pozitivní dopady na klinickou praxi- Zvýšení diagnostické přesnosti: Rané studie ukazují, že asistence Med-PaLM 2 může výrazně zlepšit úspěšnost diferenciální diagnostiky. V experimentální studii se úspěšnost správné diagnostiky zvýšila z 33,6 % na 59,1 % oproti lékařům, kteří AI nepoužívali. - Efektivita a úspora času: Snížení administrativní zátěže a rychlejší přístup k relevantním informacím umožňuje lékařům věnovat více času péči o pacienty. - Podpora vzdělávání: Model přináší srozumitelná vysvětlení složitých medicínských konceptů, což je přínosné nejen pro pacienty, ale i pro lékaře. ⚠️ Výzvy a rizika- Nepřesnosti a halucinace: Stejně jako jiné velké jazykové modely, i Med-PaLM 2 trpí občasnými faktickými chybami. Testy ukazují, že odpovědi modelu mohou obsahovat více nepřesností či nerelevantních informací než odpovědi lidských lékařů – v medicíně je každá chyba kritická, a proto musí být lékař vždy primárním a strážcem pravdy.- Právní a etické otázky: Použití AI v klinické praxi vyvolává řadu otázek ohledně odpovědnosti za chyby a potenciálních bias, které mohou být přeneseny z tréninkových dat.- Falešný pocit jistoty: Existuje riziko, že jak pacienti, tak i někteří lékaři mohou přeceňovat výsledky AI a zaměňovat je za konečná lékařská doporučení. Med-PaLM 2 představuje inovativní nástroj s potenciálem zlepšit diagnostiku a optimalizovat procesy ve zdravotnictví. Jeho implementace však vyžaduje pečlivý dohled a etické zvážení, aby byla zajištěna bezpečnost a kvalita péče. V současnosti chybí rozsáhlé randomizované kontrolované studie potvrzující jeho klinický přínos, což zdůrazňuje potřebu dalšího výzkumu.&nbsp;Reference: &nbsp;[<a data-mce-href="https://www.turtlesai.com/en/pages-415/mayo_physicians_find_gaps_but_also_promise_in_goog" href="https://www.turtlesai.com/en/pages-415/mayo_physicians_find_gaps_but_also_promise_in_goog">1</a>] [<a data-mce-href="https://www.warner.senate.gov/public/index.cfm/2023/8/release-warner-urges-google-to-protect-patients-and-ensure-ethical-deployment-of-health-care-ai" href="https://www.warner.senate.gov/public/index.cfm/2023/8/release-warner-urges-google-to-protect-patients-and-ensure-ethical-deployment-of-health-care-ai">2</a>] [<a data-mce-href="https://pmc.ncbi.nlm.nih.gov/articles/PMC10828839/" href="https://pmc.ncbi.nlm.nih.gov/articles/PMC10828839/">3</a>] [<a data-mce-href="https://www.mobihealthnews.com/news/study-google-reveals-llm-helps-accurately-diagnosis-complex-cases" href="https://www.mobihealthnews.com/news/study-google-reveals-llm-helps-accurately-diagnosis-complex-cases">4</a>] [<a data-mce-href="https://arxiv.org/abs/2305.09617#:~:text=clinical%20topics%20datasets.%20,the%20efficacy%20of%20these%20models" href="https://arxiv.org/abs/2305.09617#:~:text=clinical%20topics%20datasets.%20,the%20efficacy%20of%20these%20models">5</a>] [<a data-mce-href="https://voicebot.ai/2023/07/11/mayo-clinic-begins-testing-google-med-palm-2-generative-ai-model/" href="https://voicebot.ai/2023/07/11/mayo-clinic-begins-testing-google-med-palm-2-generative-ai-model/">6</a>] [<a data-mce-href="https://investor.hcahealthcare.com/news/news-details/2023/HCA-Healthcare-Collaborates-With-Google-Cloud-to-Bring-Generative-AI-to-Hospitals/" href="https://investor.hcahealthcare.com/news/news-details/2023/HCA-Healthcare-Collaborates-With-Google-Cloud-to-Bring-Generative-AI-to-Hospitals/">7</a>] [<a data-mce-href="https://www.fiercehealthcare.com/ai-and-machine-learning/google-unveils-medlm-generative-ai-models-healthcare-hca-augmedix-and" href="https://www.fiercehealthcare.com/ai-and-machine-learning/google-unveils-medlm-generative-ai-models-healthcare-hca-augmedix-and" data-mce-selected="inline-boundary">8</a>]

Med-PaLM 2: Když AI mluví jazykem medicíny!

Medical technology, online health, global health network, medical online concept. Stethoscope and laptop computer with medical technology internet network connection, telemedicine technology

<h3>Rizika chybné transkripce v medicíně</h3>Milí kolegové a příznivci moderních technologií ve zdravotnictví,často píšu o využití AI a zároveň upozorňuji na její omezení. Dnes bych se rád podělil o problém s AI-přepisovacím nástrojem Whisper, který se již využívá i ve zdravotnických zařízeních.🔬Co se děje?Přestože OpenAI prezentuje Whisper jako „téměř na úrovni lidské přesnosti“, výzkumy ukazují znepokojivý jev: nástroj totiž někdy dokáže „halucinovat“ – tedy v přepisu vkládat text, který nikdy nebyl vysloven. A to může mít vážné důsledky, zejména když jde o přepis lékařských konverzací.⚠️ Proč je to problém?Chybná diagnostika a léčba: Přidané či pozměněné informace mohou vést k nesprávným závěrům. Jakmile se chybný přepis stane základem pro rozhodování, riskujeme nejen omyly, ale i potenciálně fatální důsledky pro pacienty. Bezpečnost a důvěrnost: Je nutné mít nástroje, které před aktualizací lékařské dokumentace (např. z audiozáznamu rozhovoru lékař–pacient) automaticky kontrolují předchozí záznamy (viz minulý článek) a upozorňují lékaře na případné nesrovnalosti. Přestože lékař při zápisu nové zprávy a aktualizaci anamnézy záznamy kontroluje, některé rozdíly by mohl přehlédnout. Zodpovědné nasazení AI: I přes známky robustnosti je třeba, aby vývojáři a provozovatelé zdravotnických systémů zachovali opatrnost. Před nasazením do „vysokorizikových“ oblastí bychom měli vyžadovat přísné standardy kvality a bezpečnosti. 🛠️ Jaké jsou možnosti řešení?Důkladná kontrola a validace: Transkripce generované AI by měly být vždy podrobeny strojové kontrole a lidské revizi. Mít k dispozici originální audio záznamy je klíčové pro ověření správnosti. Stanovení přísných regulací: Ve spolupráci s odbornou komunitou by měly být definovány normy pro nasazení AI v kritických prostředích, jako jsou nemocnice, aby se zajistila maximální bezpečnost pacientů. Závěrem:Technologie jako Whisper mají nepochybně potenciál zefektivnit naši práci a zlepšit péči o pacienty. Avšak každý pokrok musí jít ruku v ruce s odpovědným přístupem a pečlivou kontrolou kvality.Reference: [<a data-mce-href="https://apnews.com/article/ai-artificial-intelligence-health-business-90020cdf5fa16c79ca2e5b6c4c9bbb14" href="https://apnews.com/article/ai-artificial-intelligence-health-business-90020cdf5fa16c79ca2e5b6c4c9bbb14">1</a>] [<a data-mce-href="https://www.wired.com/story/hospitals-ai-transcription-tools-hallucination/" href="https://www.wired.com/story/hospitals-ai-transcription-tools-hallucination/">2</a>]

Rizika chybné transkripce v medicíně

Globe with a stethoscope wrapped around it. World Health day, Global Health Awareness and World Environment Day concept. Green Environment to Love and Care. environmentally sustainable.

<h3>Dokáže AI předpovědět postup Alzheimerovy choroby?</h3>Milí kolegové a příznivci inovací v medicíně,rád bych se dnes podělil o skutečně zajímavou novinku ze světa umělé inteligence (AI) a neurologie. Nejnovější výzkum ukazuje, že AI může s úspěšností přesahující 78 % předpovědět, zda se u pacienta s lehkým kognitivním poškozením (MCI) rozvine do šesti let Alzheimerova choroba. Studie s podporou NIA (National Institute on Aging) byla publikována v prestižním časopise Alzheimer’s &amp; Dementia.Co se vlastně zkoumalo?1. Analýza přepisu řeči z kognitivních testů Tým z Boston University vyhodnocoval jazykovou strukturu řečových záznamů 166 účastníků Framingham Heart Study, u nichž byla diagnostikována MCI. 2. Rozdělení na dvě skupiny: - 90 pacientů, u nichž MCI progredovalo do Alzheimerovy choroby. - 76 pacientů, u nichž se onemocnění v daném období nestabilizovalo či nezhoršovalo.3. Žádné hodnocení kvality hlasu: AI se v tomto výzkumu zaměřovala pouze na jazykovou strukturu (tedy co člověk říká, nikoli jak to říká). Nehodnotila se tedy intonace, rychlost řeči ani jiné vokální znaky. &nbsp;Jak se to promítne do praxe?1. Včasná intervence: Lékaři mohou na základě podrobné analýzy řečových vzorků identifikovat ohrožené pacienty a společně s rodinou nastavit preventivní kroky. 2. Nový diagnostický marker: Jazykové vyjádření rozšiřuje spektrum nástrojů vedle standardních metod a poskytuje lékařům možnost komplexnějšího hodnocení pacienta. &nbsp;Navzdory poměrně malému a geograficky homogennímu vzorku 166 účastníků tato studie naznačuje, že umělá inteligence má značný potenciál při včasné diagnostice Alzheimerovy choroby.Retrospektivní charakter a soustředění se pouze na obsah řeči (nikoliv její akustiku) omezují univerzální platnost výsledků, ale zároveň ukazují, že samotný text může být někdy silnějším prediktorem než běžné demografické údaje.Autoři studie použili křížovou validaci, aby otestovali robustnost svých modelů, avšak pro širší uplatnění a skutečné potvrzení výsledků budou potřeba rozsáhlejší prospektivní studie napříč různými lokalitami. Přesto je tato metoda slibná – v kombinaci s dalšími biomarkery by se mohla stát cenově dostupným a efektivním testem pomáhajícím včas odhalit Alzheimerovu chorobu a zvýšit šanci na úspěšnou léčbu.Reference: [<a data-mce-href="https://pubmed.ncbi.nlm.nih.gov/38924662/" href="https://pubmed.ncbi.nlm.nih.gov/38924662/" data-mce-selected="inline-boundary">1</a>]

Dokáže AI předpovědět postup Alzheimerovy choroby?

Neurosurgery OR setup. Advanced neurosurgery operating room equipped with modern surgical lights and medical equipment for patient care.

Milí kolegové a příznivci moderní medicíny,jistě jste v poslední době zaznamenali představení nového modelu OpenAI, označovaného jako O3. Rád bych této události využil k prezentaci své vize budoucnosti AI v medicíně a naznačil, jakou roli v ní budou hrát lékaři.Zásadním rozdílem oproti klasickému GPT-4 je, že namísto pouhého generování jedné odpovědi O3 (a další modely ze série O) vytváří mnoho kandidátních řešení, tzv. řetězců myšlenek (Chain-of-Thought, CoT). Tato řešení jsou hodnocena verifikačním modelem, který hledá chyby v logice či výpočtech. V některých případech se pak vybere tzv. konsenzuální nebo nejčastější odpověď.Pokud model sestaví správnou sekvenci kroků vedoucí k ověřené odpovědi, může se na základě těchto mezikroků doladit (fine-tuning), čímž posiluje svou schopnost generovat řetězce úvah, které vedou ke správným výsledkům správným postupem. Tento proces, známý jako reinforcement learning (RL), umožňuje modelu učit se preferovat správné myšlenkové postupy (reasoning). Díky automatickému ověřování generovaných odpovědí jde o velmi efektivní způsob zlepšování, což dokazuje model O3, jenž dosáhl významných výsledků – například 25 % přesnosti v benchmarku FrontierMath oproti méně než 2 % u předchozích modelů.V rámci implementací RL u těchto modelů rozlišujeme dva hlavní přístupy:1. Outcome supervision – Model se učí na základě výsledku, což dobře funguje u úloh s jasně definovanou správnou odpovědí (např. matematika, programování).2. Process supervision – Experti hodnotí správnost jednotlivých kroků, čímž model postupně zdokonaluje svou logiku.Doposud jsme popisovali přístup číslo 1, který je ideální tam, kde lze správnost odpovědí objektivně a snadno ověřit. Model se dokáže rychle poučit ze svých výsledků a efektivně upravit svou vnitřní logiku – právě díky vysoké míře automatizace je tento postup velmi lákavý.Pro medicínu a přírodní vědy však přichází na řadu spíše přístup číslo 2. V těchto oborech řešíme diagnózy, výskyt symptomů a doprovodných projevů i prognózy s určitou pravděpodobností, a to s přihlédnutím ke komplexnosti a individualitě našich pacientů. V medicíně se proto někdy obrazně říká, že „je možné téměř všechno“. Klíčovou roli zde hraje nejen lékařská zkušenost a znalost medicíny, ale také jistá dávka intuice. Výstupy umělé inteligence proto nelze hodnotit tak exaktně jako v matematice či programování, a z toho důvodu je nezbytné, aby byl lékař součástí nejen trénování, ale i samotné aplikace modelu v praxi.Závěr:Lékaři se nemusí obávat, že je umělá inteligence nahradí. Naopak věřím, že lékař zůstane klíčovým prvkem nejen při trénování a zavádění AI do klinické praxe, ale také při její každodenní aplikaci v běžném provozu. Jako „gatekeeper“ bude lékař tím, kdo dokáže výstupy umělé inteligence zasadit do kontextu komplexní a individuální péče o pacienta.

AI v medicíně: Jsou lékaři stále nepostradatelní?

Česká lékařská komora - Sekce mladých lékařů ČLK

Sekce mladých lékařů ČLK vznikla s cílem sdružovat a zastupovat zájmy mladých lékařů především v oblasti postgraduálního vzdělávání, ale také v oblasti problematiky finančního ohodnocení a pracovních podmínek. Mladí lékaři ČLK se budou snažit, aby při důležitých rozhodováních ohledně směřování medicíny v ČR byl slyšen a brán v potaz i názor mladých lékařů.

Archiv článků

AI Terapie

Význam lidského hodnocení a aplikace ''reasoning'' modelů...

Med-PaLM 2: Když AI mluví jazykem medicíny!

Rizika chybné transkripce v medicíně

Dokáže AI předpovědět postup Alzheimerovy choroby?

AI v medicíně: Jsou lékaři stále nepostradatelní?