Problém padesátiprocentní míry přehlédnutí
Průzkum z roku 2025 (arXiv:2509.14464) testoval nástroje na bázi LLM na klinických záznamech. Výsledky byly alarmující. Tyto nástroje přehlédly více než 50 % klinických chráněných zdravotních informací (CHI) ve vícejazyčných dokumentech. Příčina je prostá. LLM jsou navrženy pro generování textu. Nejsou navrženy pro vysoce citlivou detekci, jakou HIPAA vyžaduje.
HIPAA Safe Harbor vyjmenovává 18 typů chráněných identifikátorů. Jména, data, telefonní čísla, rodná čísla, čísla MRN, identifikátory zdravotních plánů, identifikátory zařízení a IP adresy. Každý z nich vyžaduje vlastní logiku detekce.
Klinické poznámky věc dále ztěžují. Vezměme si příklad: „Pac. Jan N., datum nar. 4/12/67, MRN 1234567, přijat 03/15/24, Dr. Novák naordinoval EKG.“ Jedna věta. Pět chráněných identifikátorů. Většina ve zkrácené formě. Model trénovaný pro porozumění klinickému obsahu při detekci často selhává.
Co LLM přehlíží a proč
Nástroje na bázi LLM selhávají na klinických záznamech opakujícím se způsobem.
Zkrácené identifikátory: Klinické poznámky využívají zkratky. Datum nar., MRN a Pac. jsou běžné formy. Model doladěný pro porozumění klinickému obsahu nemusí „Pac. Jan N.“ označit jako jméno. Extrakce citlivých dat vyžaduje odlišný cíl.
Datumy závislé na kontextu: Ne všechna data představují stejné riziko. „Věk 67 let“ je nepřímý ukazatel. „Datum nar. 4/12/67“ je přímý chráněný identifikátor. „03/15/24“ jako datum přijetí je rovněž chráněný. Samotné porovnávání vzorů nestačí.
Formáty mimo USA: Cyberhaven (Q4 2025) zjistil, že 34,8 % veškerých vstupů do ChatGPT obsahuje citlivé údaje, včetně vícejazyčných OÚ. Ve zdravotnictví to znamená identifikátory ze záznamů mimo USA, regionální formáty dat a lokální typy zdravotních identifikátorů. Nástroje trénované na amerických datech je konzistentně přehlíží.
Vlastní nemocniční identifikátory: Nemocnice používají vlastní formáty MRN, identifikátory personálu a kódy pracovišť. Tato data nejsou ve standardních tréninkových sadách NER. Nástroj bez podpory vlastních entit je nenalezne.
Riziko výzkumných datových sad
Nemocnice budující výzkumnou datovou sadu z 500 000 poznámek čelí reálnému problému se souladem předpisů. HIPAA vyžaduje standard „very nízkého rizika“ pro de-identifikovaná data. Nástroj, který přehlíží polovinu všech chráněných identifikátorů, tuto hranici nesplňuje.
Výzkumné archivy nejsou čistá data. Poznámky pocházejí z různých oddělení, různých časových období a někdy z různých jazyků. Nástroj fungující na fakturačních datech může selhat na narativních poznámkách. Citlivé údaje ve volném textu nemají žádné popisné pole.
Schválení IRB přidává další požadavky. Instituce musí doložit použitou metodu, typy odstraněných identifikátorů a provedené kontroly. Nástroj přehlíží polovinu všech záznamů — tyto požadavky splnit nedokáže.
Podívejte se na náš přehled souladu s předpisy a bezpečnostní postupy, jak anonym.legal podporuje práci v souladu s HIPAA.
Oprava ve třech vrstvách
Průzkum z roku 2025 odhalil jeden jasný vzorec. Nástroje s nejnižší mírou přehlédnutí používaly tři vrstvy detekce.
Vrstva první — regulární výrazy: Nalézají strukturované identifikátory. Rodná čísla, MRN, telefonní čísla, identifikátory zdravotních plánů. Spolehlivé pro pevné formáty.
Vrstva druhá — NER: Využívá transformerové modely. Nalézá jména, data a citlivé údaje v narativním textu. Funguje tam, kde regulární výrazy nestačí.
Vrstva třetí — vlastní entity: Pokrývá formy specifické pro pracoviště. Proprietární vzory MRN, identifikátory personálu, kódy zařízení. Žádný standardní model tyto údaje nepokryje.
Čistě ML nástroje degradují na zkrácených formách a neanglickém textu. Čistě regex nástroje přehlíží citlivé údaje bez popisného pole. Ani jeden přístup sám o sobě nestačí.
Pouze třívrstevný návrh dosáhl v průzkumu míry přehlédnutí pod 5 %. To je standard pro soulad s HIPAA Safe Harbor.
Náš průvodce de-identifikací HIPAA Safe Harbor pro výzkum nabídne další kroky.