O Custo dos Falsos Positivos em Ferramentas de Deteção de DPP
Atualizado para 2026
A maioria das ferramentas de DPP é avaliada pela cobertura. A cobertura mede que parte das DPP reais a ferramenta deteta. Mas a precisão é igualmente importante. Ela mede que parte dos alertas da ferramenta corresponde a DPP reais.
Baixa precisão é cara. Um sistema com 95 % de cobertura e 22,7 % de precisão deteta a maioria das DPP. Mas por cada entidade DPP real sinalizada, gera também 3,4 alertas incorretos. Num conjunto de dados com 10 000 entidades DPP reais, esse sistema emite cerca de 44 000 alertas. Aproximadamente 34 000 são incorretos. Cada um consome tempo de revisão ou causa redação excessiva.
Este é o custo dos falsos positivos. É a sobrecarga que qualquer equipa paga ao operar um sistema de DPP de alta cobertura e baixa precisão em escala de produção. O custo direto é o tempo dos revisores. O custo indireto é pior: documentos excessivamente redigidos ocultam dados úteis, abrandam o trabalho e corroem a confiança na ferramenta.
O que mostra a issue #1071 do Presidio
A discussão #1071 no GitHub da Microsoft Presidio (2024) documenta um padrão específico. Os reconhecedores TFN (Tax File Number) e PCI usam validação por soma de verificação. Os números que passam a soma de verificação recebem uma pontuação de 1,0 — confiança máxima. Nenhum contexto de DPP é exigido.
A causa raiz: a verificação de palavras contextuais corre após a etapa de soma de verificação, não antes. Um número que passa a soma de verificação obtém a pontuação máxima independentemente do texto envolvente. Em folhas de cálculo financeiras, conjuntos de dados científicos ou ficheiros de registo, isso inunda a saída com alertas incorretos. A filtragem por limiar de pontuação não consegue corrigir isso. As pontuações já estão no máximo.
Um segundo padrão aparece na issue #999 do Presidio. A segmentação de palavras em alemão falha nos substantivos compostos. Palavras como Bundesbehörde (autoridade federal) podem ser segmentadas incorretamente e etiquetadas como nomes próprios. Isso adiciona ruído em qualquer documento em língua alemã.
O problema dos 22,7 % de precisão
Alvaro et al. (2024) testaram o Presidio com as definições predefinidas em conjuntos de dados empresariais multilingues. Encontraram 22,7 % de precisão. Em documentos reais, menos de um em cada quatro alertas do Presidio corresponde a uma entidade DPP real. Isso corresponde ao que os profissionais relatam. Uma ferramenta otimizada apenas para cobertura produz demasiado ruído para uso em produção.
Um estudo DICOM de 2024 mostrou que elevar o score_threshold para 0,7 ainda deixava alertas incorretos em 38 das 39 imagens médicas. Um limiar que elimina o ruído num tipo de documento cria deteções perdidas noutro.
Este não é um problema exclusivo do Presidio. Qualquer limiar fixo impõe uma troca. Um limiar elevado reduz o ruído mas aumenta as deteções perdidas. Um limiar baixo aumenta a cobertura mas infla a fila de alertas.
Pontuação com consciência contextual
A solução é a pontuação de confiança com consciência contextual. Em vez de pontuar apenas com base no padrão detetado, o sistema aumenta a confiança quando palavras contextuais aparecem perto da correspondência. Também reduz a pontuação quando o contexto está ausente.
Para a deteção TFN: palavras como "tax file number," "TFN" ou "Australian tax" perto de um número aumentam a sua pontuação. Um número que passa a soma de verificação mas não tem palavras contextuais próximas recebe uma pontuação abaixo do limiar de revisão. O alerta incorreto é suprimido.
Para o ruído interlinguístico: os tipos de entidades ligados a países específicos podem ser limitados a documentos no idioma correspondente. Um detetor TFN limitado a textos em inglês e inglês australiano elimina o ruído. Aplicá-lo em conteúdo alemão sem esta restrição é a fonte do problema.
A terceira camada num sistema híbrido é um modelo transformer. Lê a janela de contexto completa em torno de cada candidato. Distingue "John Smith, Patient ID 12345" de um código de produto que coincide com um padrão de nome. O contexto resolve a ambiguidade que as expressões regulares e as somas de verificação não conseguem resolver.
Veja como o motor de deteção de três níveis gere a precisão em escala. O guia de deteção DPP multilingue explica como o ruído interlinguístico afeta a conformidade com o RGPD.
Passos práticos
Antes de implementar qualquer ferramenta de DPP, meça a sua precisão — não apenas a cobertura.
Execute a ferramenta num conjunto de documentos com DPP conhecidas e não-DPP conhecidas. Conte os alertas em ambos os grupos. Calcule true_positives / (true_positives + false_positives). Este número revela a carga de revisão antes de se comprometer com uma implementação.
Para equipas que já usam o Presidio, a análise da distribuição de pontuações é um caminho rápido. Exporte uma amostra de deteções com as suas pontuações de confiança. Conte quantas estão abaixo de 0,6, 0,7 e 0,8. Uma grande proporção de alertas de alta pontuação em texto limpo indica um problema de contexto, não de limiar. A visão geral de conformidade de segurança explica como documentar esta análise numa AIPD.
Fontes
- Discussão GitHub Microsoft Presidio #1071: falsos positivos sistemáticos.
- Issue GitHub Microsoft Presidio #999: falsos positivos em alemão.
- Alvaro et al. (2024): precisão do Presidio em dados empresariais multilingues.
- Análise do limiar de pontuação DICOM — comunidade Microsoft Presidio.