Ferramentas PII somente em inglês: a lacuna do RGPD
O RGPD não tem preferência de idioma
O RGPD cobre dados pessoais em qualquer idioma. Alemão, francês, polonês, sueco — todos são cobertos igualmente. Um Steuer-ID perdido cria o mesmo risco legal que um número de seguridade social perdido. A lei não distingue por idioma.
A maioria das ferramentas de deteção de PII faz isso.
As principais ferramentas comerciais e de código aberto foram construídas para texto em inglês. Os seus módulos de deteção refletem isso. Cobrem bem os números de seguridade social dos EUA, as cartas de condução dos EUA e os formatos de telefone NANP. Os módulos para identificadores nacionais não ingleses são menos precisos. São menos bem mantidos. Ignoram com mais frequência os identificadores reais.
Para as empresas nos estados-membros da UE, isso cria uma lacuna de cobertura. A ferramenta indica que a deteção está completa. Mas os identificadores não ingleses permanecem nos dados. Estes são frequentemente os identificadores com maior exposição ao RGPD em certos países.
As autoridades de proteção de dados veem isso. Os auditores procuram por isso. Uma ferramenta pode funcionar bem com registos em inglês. Mas se falha com registos alemães ou franceses, não está em conformidade. Um relatório limpo não muda isso.
Os identificadores nacionais diferem em estrutura
A lacuna entre as ferramentas centradas no inglês e as ferramentas multilíngues não é sobre adicionar mais padrões regex. Os identificadores nacionais da UE são muito diferentes uns dos outros. Precisam de lógica específica de cada país para serem detetados corretamente.
German Steuer-Identifikationsnummer (Steuer-ID): 11 dígitos. Usa uma soma de verificação baseada numa variante da fórmula de Luhn. Um regex SSN genérico não vai corresponder. Um regex para qualquer número de 11 dígitos cria demasiados falsos positivos em documentos alemães.
French NIR (Numéro d'inscription au répertoire): 15 dígitos. O formato codifica sexo, ano de nascimento, mês de nascimento e departamento de nascimento. Também inclui a ordem de nascimento e uma chave de controlo de 2 dígitos. A chave de controlo deve ser validada para uma deteção correta.
Swedish Personnummer: 10 dígitos com um dígito de verificação Luhn. As pessoas nascidas antes de 1990 usam o separador + em vez de -. Isso muda o formato que deve ser detetado.
Polish PESEL: 11 dígitos. Codifica data de nascimento, género e um dígito de verificação baseado em somas ponderadas. A deteção correta precisa tanto da correspondência de formato como da validação de soma de verificação.
Estes não são variantes de um padrão comum. Cada um tem um comprimento diferente. Cada um usa um método de verificação diferente. Cada um codifica dados num esquema de posição diferente. Um modelo NER treinado em inglês que vê um NIR francês não o reconhecerá como identificador nacional. Irá ignorá-lo ou classificá-lo incorretamente.
O risco prático de conformidade
Considere um responsável de conformidade num BPO europeu. Processa dados da Alemanha, França, Polónia e Países Baixos ao mesmo tempo. A sua ferramenta reporta anonimização PII bem-sucedida.
Mas o resultado não está completo. Os Steuer-IDs nos registos alemães permanecem. Os números NIR nos registos franceses permanecem. Os números PESEL nos registos polacos permanecem. Os módulos da ferramenta para estes formatos estão ausentes ou são demasiado imprecisos.
Mais tarde, o conjunto de dados vai para análise ou para um parceiro de investigação. Os dados ainda contêm identificadores nacionais re-identificáveis. O problema do RGPD não aparece nos registos de saída da ferramenta. Surge quando chega um pedido de acesso de um titular de dados. Pode surgir durante uma auditoria de uma autoridade de proteção de dados. Pode surgir após uma violação de dados.
As investigações que comparam abordagens híbridas multilíngues com ferramentas centradas no inglês encontraram resultados claros. Os métodos híbridos atingem pontuações F1 de 0,60 a 0,83 em locais europeus. As ferramentas somente em inglês obtêm perto de zero para formatos de ID nacionais não ingleses.
Consulte a nossa visão geral de conformidade com o RGPD para ver como estas lacunas se relacionam com as obrigações do RGPD.
O que a cobertura completa requer
A verdadeira deteção PII multilíngue para conformidade com o RGPD da UE precisa de três camadas.
Os modelos spaCy nativos por idioma fornecem compreensão semântica no idioma do texto. Um modelo treinado em texto alemão sabe que "Müller" é um apelido alemão comum. Existem modelos para 25 idiomas europeus de altos recursos.
Os modelos NLP Stanza estendem a cobertura a idiomas não incluídos no spaCy. Isso acrescenta alcance para mais comunidades linguísticas da UE.
Os modelos transformadores multilíngues (XLM-RoBERTa) lidam com casos entre idiomas. Um nome numa frase francesa é reconhecido como nome de pessoa. Isso funciona mesmo que o motor não tenha sido treinado nesse nome específico.
O regex com validação específica do país cobre os identificadores nacionais estruturados. Steuer-ID, NIR, PESEL e Personnummer precisam cada um da sua própria lógica de soma de verificação. Isso reduz os falsos positivos. As sequências de dígitos que não passam nas regras de validação do país são filtradas.
A lacuna é estrutural. Adicionar listas de palavras ou mais padrões regex apenas proporciona uma melhoria menor. Incorporar a cobertura de identificadores da UE desde o início é a única abordagem fiável.
Verifique a sua ferramenta atual
Peça ao seu fornecedor pontuações F1 para registos alemães, franceses, polacos e holandeses. "Suporta múltiplos idiomas" significa frequentemente que a ferramenta usa tradução primeiro. Isso não é scanning nativo. A conformidade com o RGPD exige scanning nativo.
Teste com amostras reais de IDs nacionais. Crie um conjunto de teste curto com 10 exemplos de cada tipo de ID nas suas operações. Steuer-ID, NIR, PESEL, Personnummer. Verifique as taxas de deteção. É mais rápido do que um teste F1 completo e revela lacunas rapidamente.
Consulte a nossa página de segurança e conformidade para ver como anonym.legal aborda estes requisitos. Para definições de tipos de entidades, visite a referência de entidades.