Problemet med 50 % overseelsesrate
En undersøgelse fra 2025 (arXiv:2509.14464) testede LLM-baserede værktøjer på kliniske journaler. Resultaterne var nedslående. Disse værktøjer overså mere end 50 % af klinisk PHI i flersprogede dokumenter. Årsagen er enkel. LLM-er er bygget til tekstgenerering. De er ikke bygget til den højtprioriterede detektionsopgave, som HIPAA kræver.
HIPAA Safe Harbor-metoden lister 18 beskyttede identifikatortyper. Navne, datoer, telefonnumre, CPR-numre, MRN-numre, sundhedsplan-ID'er, enheds-ID'er og IP-adresser. Hver kræver sin egen detektionslogik.
Kliniske notater gør dette vanskeligere. Tag dette eksempel: "Pt. John D., DOB 4/12/67, MRN 1234567, indlagt 03/15/24, Dr. Smith ordinerede EKG." Én sætning. Fem beskyttede identifikatorer. De fleste er i forkortet form. En model bygget til at forstå klinisk indhold fejler ofte selve detektionsopgaven.
Hvad LLM-er overser og hvorfor
LLM-baserede værktøjer fejler på kliniske journaler på bestemte måder.
Forkortede identifikatorer: Kliniske notater bruger stenografi. DOB, MRN og Pt. er hyppige forkortelser. En model finjusteret til klinisk betydning identificerer muligvis ikke "Pt. John D." som et personnavn. Ekstraktion af følsomme data kræver et andet mål.
Kontekstafhængige datoer: Ikke alle datoer udgør samme risiko. "67 år" er en blød markør. "DOB 4/12/67" er en direkte beskyttet identifikator. "03/15/24" som indlæggelsesdato er ligeledes beskyttet. Mønstermatchning alene er ikke tilstrækkeligt.
Ikke-amerikanske formater: Cyberhaven (Q4 2025) fandt, at 34,8 % af alle ChatGPT-input indeholder følsomme data, herunder flersproget persondata. I sundhedssektoren betyder dette ikke-amerikanske journal-ID'er, regionale datoformater og lokale sundhedsidentifikatortyper. US-trænede værktøjer overser disse konsekvent.
Specialiserede hospital-identifikatorer: Hospitaler anvender egne MRN-formater, medarbejder-ID'er og stedkoder. Disse indgår ikke i standardtræningsdata for NER. Et værktøj uden understøttelse af tilpassede entiteter finder dem ikke.
Risikoen ved forskningsdatasæt
Et hospital, der opbygger et forskningsdatasæt fra 500.000 notater, står over for et reelt complianceproblem. HIPAA kræver en "meget lav risiko"-standard for de-identificerede data. Et værktøj, der overser halvdelen af alle beskyttede identifikatorer, kan ikke opfylde dette krav.
Forskningsarkiver er ikke rene data. Notater spænder over mange afdelinger, tidsperioder og til tider sprog. Et værktøj, der fungerer på faktureringsdata, kan fejle på narrativnotater. Følsomme data i fritekst har ingen feltlabel.
IRB-godkendelse stiller yderligere krav. Institutioner skal dokumentere den anvendte metode, de fjernede identifikatortyper og de udførte kontroller. Et værktøj, der overser halvdelen af alle journaler, kan ikke opfylde disse krav.
Se vores complianceoversigt og sikkerhedspraksis for, hvordan anonym.legal understøtter HIPAA-arbejde.
Den tre-lags løsning
Undersøgelsen fra 2025 fandt ét tydeligt mønster. Værktøjer med de laveste overseelsesrater anvendte tre detektionslag.
Lag ét — regex: Finder strukturerede identifikatorer. CPR-numre, MRN-numre, telefonnumre, sundhedsplan-ID'er. Pålidelig ved faste formater.
Lag to — NER: Anvender transformer-modeller. Finder navne, datoer og følsomme data i narrativ tekst. Virker, hvor regex ikke kan.
Lag tre — tilpassede entiteter: Håndterer stedsspecifikke former. Proprietære MRN-mønstre, medarbejder-ID'er og facilitetskoder. Ingen standardmodel dækker disse.
Rene ML-baserede værktøjer forringes ved forkortelser og ikke-engelsk tekst. Rene regex-baserede værktøjer overser følsomme data uden feltlabel. Intet af dem alene er tilstrækkeligt.
Kun det tre-lags design nåede under 5 % overseelsesrate i undersøgelsen. Det er målsætningen for HIPAA Safe Harbor-overholdelse.
Se vores guide til HIPAA Safe Harbor de-identifikation til forskning for næste skridt.