50-prosent-problemet
En undersokelse fra 2025 (arXiv:2509.14464) testet LLM-baserte verktoy pa kliniske journaler. Resultatene var dystre. Disse verktoyene oversa mer enn 50 % av klinisk PHI i flerspraklige dokumenter. Arsaken er enkel. LLM-er er bygd for tekstproduksjon. De er ikke bygd for deteksjonsoppgaven med hoyt recall som HIPAA krever.
HIPAA Safe Harbor lister opp 18 typer beskyttede identifikatorer. Navn, datoer, telefonnumre, personnumre, MRN-er, helseplankoder, enhets-ID-er og IP-adresser. Hver krever sin egen deteksjonslogikk.
Kliniske notater gjor dette vanskeligere. Ta dette eksemplet: "Pt. John D., DOB 4/12/67, MRN 1234567, innlagt 03/15/24, Dr. Smith bestilte EKG." En setning. Fem beskyttede identifikatorer. De fleste bruker forkortelser. En modell bygd for klinisk meningsforstaelse feiler ofte pa deteksjonsoppgaven.
Hva LLM-er overser og hvorfor
LLM-verktoy svikter pa kliniske journaler pa bestemte mater.
Korteform-identifikatorer: Kliniske notater bruker forkortelser. DOB, MRN og Pt. er vanlige former. En modell finjustert for klinisk mening vil kanskje ikke flagge "Pt. John D." som et navn. Utvinning av sensitive data krever et annet mal.
Kontekstavhengige datoer: Ikke alle datoer utgjor samme risiko. "Alder 67" er en myk markorer. "DOB 4/12/67" er en direkte beskyttet identifikator. "03/15/24" som innleggelsesdato er ogsa beskyttet. Monster-matching alene er ikke nok.
Ikke-amerikanske formater: Cyberhaven (4. kvartal 2025) fant at 34,8 % av alle ChatGPT-inndata inneholder sensitive data, inkludert flerspraklig PII. I helsevesenet betyr dette ikke-amerikanske journal-ID-er, regionale datoformater og lokale helse-ID-typer. USA-trente verktoy overser disse konsekvent.
Tilpassede sykehusidentifikatorer: Sykehus bruker egne MRN-formater, ansatt-ID-er og stedskoder. Disse finnes ikke i standard NER-treningsdata. Et verktoy uten stotte for tilpassede enheter vil ikke finne dem.
Risikoen med forskningsdatasett
Et sykehus som bygger et forskningsdatasett fra 500 000 notater star overfor et reelt samsvarproblem. HIPAA krever en "svart liten risiko"-standard for anonymiserte data. Et verktoy som overser halvparten av alle beskyttede identifikatorer kan ikke oppfylle det kravet.
Forskningsarkiver er ikke rene data. Notater spenner over mange avdelinger, tidsperioder og noen ganger sprak. Et verktoy som fungerer pa faktureringsdata kan feile pa narrative notater. Sensitive data i friteksst har ingen feltmerking.
IRB-godkjenning stiller enda flere krav. Institusjoner ma dokumentere metoden som ble brukt, identifikatortypene som ble fjernet og kontrollene som ble gjort. Et verktoy som overser halvparten av alle poster kan ikke oppfylle disse kravene.
Se vart samsvarsoversyn og sikkerhetspraksis for hvordan anonym.legal stoatter HIPAA-arbeid.
Trelagslosningen
Undersokelsen fra 2025 avdekket ett tydelig monster. Verktoyene med lavest antall oversette identifikatorer brukte tre deteksjonslag.
Lag en - regex: Finner strukturerte identifikatorer. Personnumre, MRN-er, telefonnumre, helseplankoder. Paalitelig pa faste formater.
Lag to - NER: Bruker transformer-modeller. Finner navn, datoer og sensitive data i narrativ tekst. Fungerer der regex ikke kan.
Lag tre - tilpassede enheter: Haandterer nettstedsspesifikke former. Proprietaere MRN-monster, ansatt-ID-er, anleggskoder. Ingen standardmodell dekker disse.
Rene ML-verktoy degraderer pa korteformer og ikke-engelsk tekst. Rene regex-verktoy overser sensitive data uten feltmerking. Ingen av dem alene er nok.
Bare trelags-designet nada under 5 % feilrate i undersokelsen. Det er standarden for HIPAA Safe Harbor-samsvar.
Se vaar guide om HIPAA Safe Harbor-anonymisering for forskning for neste steg.