Falsk positiv-skatten på PII-detektionsværktøjer
Opdateret til 2026
De fleste PII-værktøjer bedømmes på tilbagekaldelse. Tilbagekaldelse måler, hvilken andel af reel PII værktøjet finder. Men præcision er lige så vigtig. Præcision måler, hvilken andel af værktøjets advarsler der er reel PII.
Lav præcision er kostbar. Et system med 95 % tilbagekaldelse og 22,7 % præcision opfanger det meste PII. Men for hver reel PII-entitet det flagger, genererer det også 3,4 forkerte advarsler. I et datasæt med 10.000 reelle PII-entiteter afgiver systemet ca. 44.000 advarsler. Omkring 34.000 af dem er forkerte. Hver enkelt kræver tid til gennemgang eller medfører overredaktion.
Dette er falsk positiv-skatten. Det er den overhead, ethvert team betaler, når de kører et PII-system med høj tilbagekaldelse og lav præcision i stor skala. Den direkte omkostning er reviewerens tid. Den indirekte omkostning er værre: overredakterede dokumenter skjuler nyttige data, sænker arbejdet og underminerer tilliden til værktøjet.
Hvad Presidio-issue #1071 viser
Microsoft Presidio GitHub-diskussion #1071 (2024) dokumenterer et specifikt mønster. TFN- (Tax File Number) og PCI-genkenderne anvender kontrolsumvalidering. Tal, der består kontrolsummen, modtager en score på 1,0 — maksimal tillid. Ingen PII-kontekst er nødvendig.
Rodårsagen: kontekstordkontrol kører efter kontrolsumtrinnet, ikke før. Et tal, der består kontrolsummen, får topscoren uanset den omgivende tekst. I finansielle regneark, videnskabelige datasæt eller logfiler oversvømmer dette outputtet med forkerte advarsler. Scoretærskelfiltrering kan ikke afhjælpe dette. Scorerne er allerede på maksimum.
Et andet mønster fremgår af Presidio-issue #999. Tysk ordsegmentering bryder ned ved sammensatte navneord. Ord som Bundesbehörde (forbundsmyndighed) kan opdeles forkert og tagges som personnavne. Dette tilføjer støj i ethvert tysksprogede dokument.
22,7 %-præcisionsproblemet
Alvaro et al. (2024) testede Presidio på blandede flersprogede virksomhedsdatasæt. De fandt 22,7 % præcision. I virkelige dokumenter er færre end én ud af fire Presidio-advarsler en reel PII-entitet. Dette stemmer overens med, hvad praktikere rapporterer. Et værktøj afstemt alene til tilbagekaldelse producerer for meget støj til produktionsbrug.
En DICOM-undersøgelse fra 2024 viste, at hæve score_threshold til 0,7 stadig efterlod forkerte advarsler i 38 af 39 medicinske billeder. En tærskel, der fjerner støj i én dokumenttype, skaber manglende detektioner i en anden.
Dette er ikke et Presidio-specifikt problem. Enhver fast tærskel tvinger til en afvejning. En høj tærskel reducerer støj, men øger fejl. En lav tærskel øger tilbagekaldelsen, men oppuster advarselstallet.
Kontekstbevidst scoring
Løsningen er kontekstbevidst konfidensscoring. I stedet for at score udelukkende på baggrund af mønstermatchet, øger systemet tilliden, når kontekstord optræder i nærheden af matchet. Det sænker også scoren, når kontekst mangler.
Ved TFN-detektion: ord som "tax file number," "TFN" eller "Australian tax" i nærheden af et tal øger dets score. Et tal, der består kontrolsummen, men ikke har nærliggende kontekstord, scorer under gennemgangstærsklen. Den fejlagtige advarsel undertrykkes.
Ved tværsproglig støj: entitetstyper knyttet til specifikke lande kan begrænses til dokumenter på det tilsvarende sprog. En TFN-detektor begrænset til engelsk og australsk-engelsk fjerner støj. At køre den på tysk indhold uden afgrænsning er kilden til problemet.
Det tredje lag i et hybridsystem er en transformer-model. Den læser hele kontekstvinduet omkring hver kandidat. Den skelner mellem "John Smith, Patient-ID 12345" og en produktkode, der matcher et navnemønster. Kontekst løser den tvetydighed, som regex og kontrolsummer ikke kan.
Se, hvordan tre-lags detektionsmotoren håndterer præcision i stor skala. Guiden til flersproget PII-detektion beskriver, hvordan tværsproglig støj påvirker GDPR-overholdelse.
Praktiske skridt
Før udrulning af et PII-værktøj bør du måle dets præcision — ikke kun tilbagekaldelse.
Kør værktøjet på et dokumentsæt med kendt PII og kendt ikke-PII. Tæl advarsler i begge grupper. Beregn true_positives / (true_positives + false_positives). Dette tal afslører gennemgangsomkostningen, inden du forpligter dig til en udrulning.
For teams, der allerede bruger Presidio, er scoredistributionsanalyse en hurtig vej. Eksporter en stikprøve af detektioner med deres konfidensscorer. Tæl, hvor mange scorer under 0,6, 0,7 og 0,8. En stor andel af højtscorende advarsler i ren tekst signalerer et konteksthul, ikke et tærskelsproblem. Sikkerhedscomplianceoversigten forklarer, hvordan dette dokumenteres i en DPIA.
Kilder
- Microsoft Presidio GitHub-diskussion #1071: Systematiske falske positiver.
- Microsoft Presidio GitHub-issue #999: Tyske falske positivmønstre.
- Alvaro et al. (2024): Presidio-præcision på blandede flersprogede virksomhedsdatasæt.
- DICOM-scoretærskelanalyse — Microsoft Presidio-community.