O problema dos 50 % de falhas
Um estudo de 2025 (arXiv:2509.14464) testou ferramentas LLM em registros clínicos. Os resultados foram ruins. Essas ferramentas deixaram passar mais de 50 % das PHI clínicas em documentos multilíngues. A causa é simples. LLMs são construídos para gerar texto. Eles não são construídos para a detecção de alta cobertura que a HIPAA exige.
A HIPAA Safe Harbor lista 18 tipos de identificadores protegidos. Nomes, datas, números de telefone, CPF/SSN, MRN, IDs de planos de saúde, IDs de dispositivos e endereços IP. Cada um requer sua própria lógica de detecção.
As notas clínicas tornam isso mais difícil. Veja este exemplo: "Pt. John D., DOB 4/12/67, MRN 1234567, admitido em 03/15/24, Dr. Smith pediu ECG." Uma frase. Cinco identificadores protegidos. A maioria usa formas abreviadas. Um modelo construído para o significado clínico frequentemente falha na tarefa de detecção.
O que os LLMs deixam passar e por quê
As ferramentas LLM falham em registros clínicos de maneiras previsíveis.
Identificadores abreviados: As notas clínicas usam abreviações. DOB, MRN e Pt. são formas comuns. Um modelo voltado para o significado clínico pode não sinalizar "Pt. John D." como um nome. A extração de dados sensíveis precisa de um objetivo diferente.
Datas dependentes do contexto: Nem todas as datas representam o mesmo risco. "Idade 67" é um marcador indireto. "DOB 4/12/67" é um identificador protegido direto. "03/15/24" como data de admissão também é protegida. A correspondência de padrões sozinha não é suficiente.
Formatos não americanos: A Cyberhaven (T4 2025) constatou que 34,8 % de todas as entradas do ChatGPT contêm dados sensíveis, incluindo PII multilíngue. Na saúde, isso significa IDs de registros não americanos, formatos de datas regionais e tipos de ID de saúde locais. Ferramentas treinadas nos EUA perdem esses sistematicamente.
Identificadores hospitalares personalizados: Os hospitais usam seus próprios formatos de MRN, IDs de funcionários e códigos de site. Esses não aparecem nos conjuntos de treinamento NER padrão. Uma ferramenta sem suporte a entidades personalizadas não os encontrará.
O risco nos conjuntos de dados de pesquisa
Um hospital construindo um conjunto de dados de pesquisa com 500.000 notas enfrenta um problema real de conformidade. A HIPAA exige um padrão de "risco muito baixo" para dados anonimizados. Uma ferramenta que deixa passar metade de todos os identificadores protegidos não pode atingir esse padrão.
Os arquivos de pesquisa não são dados limpos. As notas abrangem muitos departamentos, períodos de tempo e às vezes idiomas. Uma ferramenta que funciona em dados de faturamento pode falhar em notas narrativas. Dados sensíveis em texto livre não têm rótulo de campo.
A aprovação do IRB adiciona mais exigências. As instituições devem mostrar o método usado, os tipos de identificadores removidos e as verificações realizadas. Uma ferramenta que perde metade de todos os registros não pode atender a essas exigências.
Veja nossa visão geral de conformidade e práticas de segurança para saber como o anonym.legal apoia os fluxos de trabalho da HIPAA.
A solução de três camadas
O estudo de 2025 encontrou um padrão claro. As ferramentas com as menores taxas de falha usaram três camadas de detecção.
Camada um — regex: Encontra identificadores estruturados. SSN, MRN, números de telefone, IDs de planos de saúde. Confiável em formatos fixos.
Camada dois — NER: Usa modelos transformadores. Encontra nomes, datas e dados sensíveis em texto narrativo. Funciona onde o regex não consegue.
Camada três — entidades personalizadas: Lida com formas específicas do site. Padrões MRN proprietários, IDs de funcionários, códigos de instalação. Nenhum modelo padrão cobre esses.
Ferramentas de ML puro se degradam com formas abreviadas e texto não inglês. Ferramentas de regex puro perdem dados sensíveis sem rótulo de campo. Nenhuma sozinha é suficiente.
Apenas o design de três camadas atingiu taxas de falha abaixo de 5 % no estudo. Esse é o limite para conformidade com o HIPAA Safe Harbor.
Veja nosso guia sobre anonimização HIPAA Safe Harbor para pesquisa para os próximos passos.