Die 50% Miskoers-probleem
'n 2025-opname (arXiv:2509.14464) het LLM-gereedskap op kliniese rekords getoets. Die resultate was sleg. Hierdie gereedskap het meer as 50% van kliniese PHI in veeltalige dokumente gemis. Die oorsaak is eenvoudig. LLM's is gebou vir teksuitvoer. Hulle is nie gebou vir die hoe-herroep opsporingstaak wat HIPAA vereis nie.
HIPAA Safe Harbor lys 18 beskermde identifiseerder tipes. Name, datums, telefoonnommers, SSN's, MRN's, gesondheidsplan-ID's, toestel-ID's, en IP-adresse. Elk benodig sy eie opsporingslogika.
Kliniese notas maak dit moeiliker. Neem hierdie voorbeeld: "Pas. Jan S., DOB 12/04/67, MRN 1234567, opgeneem 15/03/24, Dr. Botha het ECG bestel." Een sin. Vyf beskermde identifiseerders. Die meeste gebruik kortskrif. 'n Model wat vir kliniese betekenis gebou is, misluk dikwels die opsporingstaak.
Wat LLM's Mis en Waarom
LLM-gereedskap misluk op kliniese rekords op vaste maniere.
Kortskrif-identifiseerders: Kliniese notas gebruik kortskrif. DOB, MRN, en Pas. is algemene vorme. 'n Model wat vir kliniese betekenis gestem is, mag "Pas. Jan S." nie as 'n naam merk nie. Sensitiewe data-onttrekking vereis 'n ander doelwit.
Konteks-afhanklike datums: Nie alle datums stel dieselfde risiko nie. "Ouderdom 67" is 'n sagte merker. "DOB 12/04/67" is 'n direkte beskermde identifiseerder. "15/03/24" as opname-datum is ook beskerm. Patroonpassing alleen is nie genoeg nie.
Nie-VSA-formate: Cyberhaven (K4 2025) het bevind dat 34.8% van alle ChatGPT-insette sensitiewe data bevat, insluitend veeltalige PII. In gesondheidsorg beteken dit nie-VSA-rekord-ID's, streekse datumformate, en plaaslike gesondheids-ID-tipes. VSA-geopleide gereedskap mis hierdie konsekwent.
Gepasmaakte hospitaal-identifiseerders: Hospitale gebruik hul eie MRN-formate, personeelID's, en sitekodes. Hierdie is nie in standaard NER-opleidingsdata nie. 'n Gereedskap sonder gepasmaakte entiteitsondersteuning sal hulle nie vind nie.
Die Navorsingsdatastel-risiko
'n Hospitaal wat 'n navorsingsdatastel van 500,000 notas bou, staan voor 'n werklike nakomingsprobleem. HIPAA vra vir 'n "baie klein risiko"-standaard op gede-identifiseerde data. 'n Gereedskap wat die helfte van alle beskermde identifiseerders mis, kan nie aan die standaard voldoen nie.
Navorsingsargiewe is nie skoon data nie. Notas strek oor baie departemente, tydperke, en soms tale. 'n Gereedskap wat op faktureringsdata werk, mag op narratiewe notas misluk. Sensitiewe data in vrye teks het geen veldlabel nie.
IRB-goedkeuring voeg meer eise by. Instellings moet die gebruikte metode, die verwyderbare identifiseerder tipes, en die gedane kontroles aantoon. 'n Gereedskap wat die helfte van alle rekords mis, kan nie aan hierdie eise voldoen nie.
Sien ons nakomingsoorsig en sekuriteitspraktyke vir hoe anonym.legal HIPAA-werk ondersteun.
Die Drielaag-oplossing
Die 2025-opname het een duidelike patroon gevind. Die gereedskap met die laagste miskoerse het drie opsporingsklae gebruik.
Laag een -- regex: Vind gestruktureerde identifiseerders. SSN's, MRN's, telefoonnommers, gesondheidsplan-ID's. Betroubaar op vaste formate.
Laag twee -- NER: Gebruik transformatormodelle. Vind name, datums, en sensitiewe data in narratiewe teks. Werk waar regex nie kan nie.
Laag drie -- gepasmaakte entiteite: Hanteer terrein-spesifieke vorme. Eie MRN-patrone, personeelID's, fasiliteitsodes. Geen standaardmodel dek hierdie nie.
Suiwer ML-gereedskap versleg op kortskrif en nie-Engelse teks. Suiwer regex-gereedskap mis sensitiewe data sonder 'n veldlabel. Nie een alleen is genoeg nie.
Slegs die drielaag-ontwerp het sub-5% miskoerse in die opname bereik. Dit is die maatstaaf vir HIPAA Safe Harbor-nakoming.
Sien ons gids oor HIPAA Safe Harbor de-identifikasie vir navorsing vir die volgende stappe.