L'impost dels falsos positius en les eines de deteccio de dades personals
Actualitzat per a 2026
La majoria d'eines de dades personals es jutgen per la seva exhaustivitat. L'exhaustivitat mesura quina part de les dades personals reals troba l'eina. Pero la precisio importa igual. La precisio mesura quina part de les alertes de l'eina son dades personals reals.
La precisio baixa es cara. Un sistema amb un 95% d'exhaustivitat i un 22,7% de precisio troba la majoria de les dades personals. Pero per cada entitat de dades personals real que marca, tambe genera 3,4 alertes incorrectes. En un conjunt de dades amb 10.000 entitats de dades personals reals, aquest sistema genera aproximadament 44.000 alertes. Unes 34.000 d'elles son incorrectes. Cadascuna costa temps de revisio o provoca una sobreaccio de redaccio.
Aixo es l'impost dels falsos positius. Es la sobrecarga que qualsevol equip paga en executar un sistema de dades personals d'alta exhaustivitat i baixa precisio a escala. El cost directe es el temps del revisor. El cost indirecte es pitjor: els documents sobreredactats amaguen dades utils, alenteixen el treball i erosionen la confianca en l'eina.
El que mostra el problema #1071 de Presidio
La discussio #1071 de Microsoft Presidio a GitHub (2024) registra un patro especific. Els reconeixedors TFN (Tax File Number) i PCI utilitzen validacio de checksum. Els numeros que superen el checksum reben una puntuacio d'1,0, la maxima confianca. No es requereix cap context de dades personals.
La causa arrel: la comprovacio de paraules de context s'executa despres del pas de checksum, no abans. Un numero que supera el checksum rep una puntuacio maxima independentment del text circumdant. En fulls de calcul financers, conjunts de dades cientifics o fitxers de registre, aixo inunda la sortida d'alertes incorrectes. El filtrat per llindar de puntuacio no ho pot arreglar. Les puntuacions ja son al maxim.
Un segon patro apareix al problema #999 de Presidio. La segmentacio de paraules en alemany es trenca en els noms compostos. Paraules com Bundesbehorde (autoritat federal) es poden dividir incorrectament i etiquetar-se com a noms personals. Aixo afegeix soroll en qualsevol document en alemany.
El problema del 22,7% de precisio
Alvaro et al. (2024) van provar Presidio en conjunts de dades empresarials de llengua mixta. Van trobar una precisio del 22,7%. En documents reals, menys d'una de cada quatre alertes de Presidio es una entitat de dades personals real. Aixo coincideix amb el que informen els practicants. Una eina ajustada nomes per a l'exhaustivitat produeix massa soroll per a l'us en produccio.
Un estudi DICOM de 2024 va mostrar que augmentar score_threshold a 0,7 encara deixava alertes incorrectes en 38 de 39 imatges mediques. Un llindar que elimina el soroll en un tipus de document crea deteccions fallides en un altre.
Aquest no es un problema exclusiu de Presidio. Qualsevol llindar fix imposa un equilibri. Un llindar alt redueix el soroll pero augmenta les deteccions fallides. Un llindar baix augmenta l'exhaustivitat pero infla el recompte d'alertes.
Puntuacio conscient del context
La solucio es una puntuacio de confianca conscient del context. En comptes de puntuar basant-se nomes en la concordanca de patrons, el sistema augmenta la confianca quan les paraules de context apareixen prop de la concordanca. Tambe baixa la puntuacio quan no hi ha context.
Per a la deteccio de TFN: paraules com "tax file number", "TFN" o "Australian tax" prop d'un numero augmenten la seva puntuacio. Un numero que supera el checksum pero que no te paraules de context properes puntua per sota del llindar de revisio. L'alerta espuria es suprimida.
Per al soroll de llengua creuada: els tipus d'entitats vinculats a paisos especifics es poden limitar als documents en la llengua corresponent. Un detector TFN limitat a text en angles i angles australia elimina el soroll. Executar-lo en contingut alemany sense limitacio es l'origen del problema.
La tercera capa en un sistema hibrid es un model transformer. Llegeix tota la finestra de context al voltant de cada candidat. Distingeix entre "John Smith, Patient ID 12345" i un codi de producte que coincideix amb un patro de nom. El context resol l'ambiguitat que el regex i els checksums no poden.
Veieu com el motor de deteccio de tres nivells gestiona la precisio a escala. La guia de deteccio multilingue de dades personals cobreix com el soroll de llengua creuada afecta el compliment del RGPD.
Passos practics
Abans de desplegar qualsevol eina de dades personals, mesureu la seva precisio, no nomes l'exhaustivitat.
Executeu l'eina en un conjunt de documents amb dades personals conegudes i no-dades personals conegudes. Compteu les alertes en ambdos grups. Calculeu true_positives / (true_positives + false_positives). Aquest numero revela la carrega de revisio abans que us comprometeu a un desplegament.
Per als equips que ja utilitzen Presidio, l'analisi de distribucio de puntuacions es un cami rapid. Exporteu una mostra de deteccions amb les seves puntuacions de confianca. Compteu quantes puntuen per sota de 0,6, 0,7 i 0,8. Una gran part d'alertes d'alta puntuacio en text net senyala una bretxa de context, no un problema de llindar. El resum de compliment de seguretat explica com documentar aixo en una EIPD.
Fonts
- Discussio #1071 de Microsoft Presidio a GitHub: falsos positius sistemarics.
- Problema #999 de Microsoft Presidio a GitHub: patrons de falsos positius en alemany.
- Alvaro et al. (2024): Precisio de Presidio en conjunts de dades empresarials de llengua mixta.
- Analisi del llindar de puntuacio DICOM, comunitat Microsoft Presidio.