50% vahelejätmise määra probleem
- aasta uuring (arXiv:2509.14464) testis LLM-tööriistu kliinilistel kirjetel. Tulemused olid halvad. Need tööriistad jätsid vahele enam kui 50% kliinilistest kaitstud terviseteabest mitmekeelsetes dokumentides. Põhjus on lihtne. LLM-id on loodud teksti väljundi jaoks. Neid ei ole loodud kõrge meeldetuletamise tuvastamisülesande jaoks, mida HIPAA nõuab.
HIPAA Safe Harbor loetleb 18 kaitstud identifikaatoritüüpi. Nimed, kuupäevad, telefoninumbrid, SSN-id, MRN-id, tervisekava ID-d, seadme ID-d ja IP-aadressid. Igaüks vajab oma tuvastusoogist.
Kliinilised märkmed muudavad selle keerulisemaks. Vaata seda näidet: "Pt. John D., DOB 4/12/67, MRN 1234567, admitted 03/15/24, Dr. Smith ordered ECG." Üks lause. Viis kaitstud identifikaatorit. Enamik kasutab lühivorme. Kliinilise tähenduse jaoks loodud mudel ebaõnnestub sageli tuvastamisülesandes.
Mida LLM-id jätavad vahele ja miks
LLM-tööriistad ebaõnnestuvad kliinilistel kirjetel kindlatel viisidel.
Lühivormi identifikaatorid: Kliinilised märkmed kasutavad lühendeid. DOB, MRN ja Pt. on tavalised vormid. Kliinilise tähenduse jaoks häälestatud mudel ei pruugi "Pt. John D." nime järgi lipuga tähistada. Tundlike andmete ekstraheerimine vajab teistsugust eesmärki.
Kontekstist sõltuvad kuupäevad: Mitte kõik kuupäevad ei kujuta sama riski. "Vanus 67" on pehme marker. "DOB 4/12/67" on otsene kaitstud identifikaator. "03/15/24" vastuvõtukuupäevana on samuti kaitstud. Mustrite sobitamine üksi ei piisa.
Mitte-USA formaadid: Cyberhaven (2025 Q4) leidis, et 34,8% kõigist ChatGPT sisenditest sisaldab tundlikke andmeid, sealhulgas mitmekeelset isikuandmeid. Tervishoius tähendab see mitte-USA kirje ID-sid, piirkondlikke kuupäevaformaate ja kohalikke tervishoiu ID tüüpe. USA-l treenitud tööriistad jätavad need järjepidevalt vahele.
Kohandatud haigla identifikaatorid: Haiglad kasutavad oma MRN-formaate, personali ID-sid ja koodi. Need ei ole standardsetes NER-treeningandmetes. Tööriist ilma kohandatud üksuste toeta ei leia neid.
Uurimisandmestiku risk
Haigla, mis koostab uurimisandmestiku 500 000 märkmest, seisab silmitsi reaalse vastavusprobleemiga. HIPAA nõuab de-identifitseeritud andmete puhul "väga väikese riski" standardit. Tööriist, mis jätab vahele poole kaitstud identifikaatoritest, ei suuda seda latti täita.
Uurimisarhiivid ei ole puhtad andmed. Märkmed ulatuvad paljude osakondade, ajaperioodide ja mõnikord keelte üle. Tööriist, mis töötab arveldusmandmetel, võib ebaõnnestuda narratiivsetel märkmetel. Tundlikud andmed vabas tekstis ei oma välisilti.
IRB heakskiit lisab rohkem nõudeid. Institutsioonid peavad näitama kasutatud meetodit, eemaldatud identifikaatoritüüpe ja tehtud kontrolle. Tööriist, mis jätab vahele poole kõigist kirjetest, ei suuda neid nõudeid täita.
Vaata meie vastavuse ülevaadet ja turvatavastusi selle kohta, kuidas anonym.legal toetab HIPAA-tööd.
Kolmekihiline lahendus
- aasta uuring leidis ühe selge mustri. Madalaima vahelejätmise määraga tööriistadel oli kolm tuvastuskihti.
Esimene kiht - regex: Leiab struktureeritud identifikaatorid. SSN-id, MRN-id, telefoninumbrid, tervisekava ID-d. Usaldusväärne fikseeritud formaatide puhul.
Teine kiht - NER: Kasutab transformermudeleid. Leiab nimedele, kuupäevadele ja tundlikele andmetele narratiivses tekstis. Toimib seal, kus regex ei suuda.
Kolmas kiht - kohandatud üksused: Käsitleb kohaspetsiifilisi vorme. Patenteeritud MRN-mustrid, personali ID-d, rajatise koodid. Ükski standardmudel ei kata neid.
Puhad ML-tööriistad halvenenuvad lühivormidel ja mitte-ingliskeelsel tekstil. Puhas regex jätab vahele tundlikud andmed ilma välisilta. Kumbagi üksi ei piisa.
Ainult kolmekihiline disain saavutas uuringus alla 5% vahelejätmise määra. See on HIPAA Safe Harbor vastavuse latt.
Vaata meie juhendit HIPAA Safe Harbor de-identifitseerimine tervishoiu uurimistöö jaoks järgmiste sammude kohta.