Ang Problema sa 50% na Miss Rate
Isang survey noong 2025 (arXiv:2509.14464) ang sumubok sa mga LLM tool sa mga clinical record. Masamang resulta. Napalampas ng mga tool na ito ang mahigit 50% ng clinical PHI sa mga multilingual na dokumento. Simple ang dahilan. Ang mga LLM ay ginawa para sa text output. Hindi sila ginawa para sa high-recall detection task na hinihingi ng HIPAA.
Inilalista ng HIPAA Safe Harbor ang 18 uri ng protektadong identifier. Mga pangalan, petsa, numero ng telepono, SSN, MRN, health plan ID, device ID, at IP address. Bawat isa ay nangangailangan ng sariling logic ng pagtuklas.
Pinapahirap ng mga clinical na tala ito. Kunin ang halimbawang ito: "Pt. John D., DOB 4/12/67, MRN 1234567, admitted 03/15/24, Dr. Smith ordered ECG." Isang pangungusap. Limang protektadong identifier. Karamihan ay gumagamit ng maikling anyo. Ang isang modelong ginawa para sa clinical na kahulugan ay madalas na nabibigo sa detection task.
Ano ang Napalampas ng mga LLM at Bakit
Nabibigo ang mga LLM tool sa mga clinical na rekord sa mga nakatakdang paraan.
Mga short-form na identifier: Gumagamit ng stenograpiya ang mga clinical na tala. Karaniwan ang DOB, MRN, at Pt. Ang isang modelo na naka-tune para sa clinical na kahulugan ay maaaring hindi i-flag ang "Pt. John D." bilang pangalan. Ang extraction ng sensitibong data ay nangangailangan ng ibang layunin.
Mga petsa na nakadepende sa konteksto: Hindi lahat ng petsa ay nagdudulot ng parehong panganib. Ang "Age 67" ay isang malambot na marker. Ang "DOB 4/12/67" ay isang direktang protektadong identifier. Ang "03/15/24" bilang petsa ng pagpasok ay protektado rin. Hindi sapat ang pattern matching lamang.
Mga format na hindi US: Natuklasan ng Cyberhaven (Q4 2025) na naglalaman ng sensitibong data ang 34.8% ng lahat ng input sa ChatGPT, kasama ang multilingual na PII. Sa pangangalagang pangkalusugan, nangangahulugan ito ng mga ID ng rekord na hindi US, mga regional na format ng petsa, at mga lokal na uri ng health ID. Patuloy na napalampas ng mga tool na sinanay sa US ang mga ito.
Mga custom na identifier ng ospital: Gumagamit ang mga ospital ng kanilang sariling mga format ng MRN, staff ID, at site code. Wala ang mga ito sa karaniwang NER training data. Ang isang tool na walang suporta sa custom entity ay hindi mahanap ang mga ito.
Ang Panganib ng Research Dataset
Ang isang ospital na nagtatayo ng research dataset mula sa 500,000 na tala ay nahaharap sa isang tunay na problema sa compliance. Nangangailangan ang HIPAA ng pamantayang "napakaliit na panganib" sa de-identified na data. Ang isang tool na napalampas ng kalahati ng lahat ng protektadong identifier ay hindi matutugunan ang pamantayang iyon.
Ang mga research archive ay hindi malinis na data. Sumasaklaw ang mga tala sa maraming departamento, mga panahon ng oras, at minsan mga wika. Ang isang tool na gumagana sa billing data ay maaaring mabigo sa mga narrative na tala. Ang sensitibong data sa free text ay walang field label.
Nagdaragdag ng karagdagang mga hinihingi ang pag-apruba ng IRB. Dapat ipakita ng mga institusyon ang ginamit na pamamaraan, ang mga uri ng identifier na tinanggal, at ang mga tsek na isinagawa. Ang isang tool na napalampas ng kalahati ng lahat ng rekord ay hindi matutugunan ang mga hinihingi na iyon.
Tingnan ang aming compliance overview at security practices para sa kung paano sinusuportahan ng anonym.legal ang trabahong HIPAA.
Ang Three-Layer na Solusyon
Isang malinaw na pattern ang natuklasan ng survey noong 2025. Ang mga tool na may pinakamababang miss rate ay gumamit ng tatlong layer ng pagtuklas.
Layer isa — regex: Naghahanap ng mga structured na identifier. SSN, MRN, numero ng telepono, health plan ID. Maaasahan sa mga nakatakdang format.
Layer dalawa — NER: Gumagamit ng mga transformer model. Naghahanap ng mga pangalan, petsa, at sensitibong data sa narrative na teksto. Gumagana kung saan hindi kayang gawin ng regex.
Layer tatlo — custom entity: Humahawak ng mga site-specific na anyo. Mga proprietary na pattern ng MRN, staff ID, facility code. Walang karaniwang modelo na sumasaklaw sa mga ito.
Nagde-degrade ang mga purong ML tool sa mga maikling anyo at hindi-Ingles na teksto. Napalampas ng mga purong regex tool ang sensitibong data na walang field label. Wala sa dalawa ang sapat mag-isa.
Sa survey, tanging ang three-layer na disenyo lamang ang umabot sa sub-5% na miss rate. Iyon ang bar para sa HIPAA Safe Harbor compliance.
Tingnan ang aming gabay sa HIPAA Safe Harbor de-identification para sa pananaliksik para sa mga susunod na hakbain.