Opdateret for 2026
22,7%-præcisionsproblemet
En undersøgelse fra 2024 testede Microsoft Presidio på forretningsfiler. Presidio er et open source PII-værktøj. Juridiske teams og sundhedsorganisationer anvender det i stor udstrækning.
Undersøgelsen målte, hvor ofte Presidio havde ret. Af alle de elementer, det markerede som personnavne, hvor mange var faktisk personnavne?
Svaret var 22,7%. Cirka 77 ud af hver 100 markeringer var forkerte. Undersøgelsen talte 13.536 fejlmarkeringer på tværs af 4.434 prøvefiler.
Fejlene var ikke tilfældige. De fulgte klare mønstre:
- Pronomener markeret som personer ("I" i begyndelsen af en sætning)
- Skibsbetegnelser markeret som personer ("ASL Scorpio")
- Virksomhedsbetegnelser markeret som personer ("Deloitte & Touche")
- Lande markeret som personer ("Argentina", "Singapore")
Ingen af disse er sjældne kanttilfælde. De opstår, hver gang en generel NLP-model møder domænespecifik tekst. Modellen er ikke bygget til at skelne imellem dem.
Hvad fejlmarkeringer koster
I juridisk og sundhedsmæssigt arbejde kræver hvert markering et svar. Teams har tre muligheder. Alle tre har reelle omkostninger.
Mulighed 1: En person kontrollerer hvert markering. Advokat- og eksperttid koster 200 til 800 dollars i timen. Med 22,7% præcision er mængden enorm. Det er ikke skalerbart. Se eDiscovery PII Automation og Legal Review Cost Reduction for, hvordan gennemgangsomkostninger vokser med mængden.
Mulighed 2: Spring over gennemgangen og stol på resultatet. Det er også risikabelt. Når 77% af "redigerede" elementer ikke er følsomme, skabes juridisk ansvar. Domstole har bødet advokater for overredigering. Se eDiscovery Over-Redaction Sanctions for dokumenterede sager.
Mulighed 3: Hæv scoretærsklen. Presidio lader brugere indstille en score_threshold til at droppe svage markeringer. En DICOM-undersøgelse fra 2024 testede dette ved 0,7 — en forholdsvis høj grænse. Resultatet: 38 ud af 39 DICOM-billeder havde stadig falske positiver. Tærskler hjælper. De løser ikke rodproblemet.
Hvorfor generel NLP kæmper her
Presidios problem stammer fra et mismatch mellem træningsdata og reel anvendelse.
Juridiske filer er fyldt med store bogstaver. Sagsnavne, lovtitler og bilagskoder ligner alle persondata for en generel model. Den markerer dem. De fleste er ikke persondata.
Sundhedsfiler tilføjer lægemiddelnavne, enhedskoder og kliniske forkortelser. "Pt." betyder patient. "Dr." betyder læge. Disse forstyrrer entity-detektion på måder, der er svære at forudsige.
Finansfiler har produktkoder, entity-strenge og konto-ID'er, der deler overfladiske mønstre med persondata.
Finjustering af en model på domænespecifikke data hjælper. Men det kræver tid og indsats at bygge og vedligeholde.
Hvordan hybrid detektion løser dette
Problemet med falske markeringer har en klar løsning. Opdel arbejdet efter datatype.
Mønsterregler for strukturerede data. CPR-numre, telefonnumre, e-mailadresser og ID-formater følger faste regler. En streng enten passer til mønsteret og består et kontrolciffertest, eller gør det ikke. Nul falske markeringer for gyldige regelsæt.
Sprogmodeller til fritekst. For- og efternavne, virksomhedsbetegnelser og placeringer i prosa mangler stiv struktur. NLP finder dem, når regler ikke kan. Konfidensscore og kontekstkontrol reducerer falsk positiv-raten.
Per-type-scorindstillinger til fin kontrol. Juridiske teams, der ikke har råd til overredigering, sætter høje tærskler for usikre matches. Forskningshold, der har brug for høj recall, sætter lavere. Se Binary PII Detection and Confidence Scoring for Compliance for, hvordan scoreniveauer fungerer i praksis.
Resultatet er langt færre fejl end Presidios standardindstillinger. Recall forbliver stærk, der hvor regler alene ville overse for meget.
For juridiske og sundhedsmæssige teams er nøglespørgsmålet ikke, om falske markeringer eksisterer. Det gør de altid i NLP-systemer. Spørgsmålet er, om værktøjet lader dig indstille, måle og dokumentere afvejningen.