Presidio's precisieprobleem van 22,7%
Valse positieven bij PII-detectie veroorzaken echte schade. Wanneer 77,3% van wat uw tool als "persoonsnamen" markeert geen echte namen zijn, beschermt u geen privacy. U beschadigt data.
Een benchmark uit 2024 testte Microsoft Presidio's standaard NER-model op zakelijke documenten. De test omvatte financiële rapporten, klantbrieven, productdocs en supporttickets. De resultaten:
- Recall: 87,3% (de meeste echte namen worden gevonden)
- Precisie: 22,7% (slechts één op de vier detecties is een echte naam)
Wat valse positieven kosten
Een precisiepercentage van 22,7% betekent: voor elke echte naam die het systeem verwijdert, verwijdert het ook drie andere tekstdelen die geen naam zijn.
In een juridisch document kunnen dat zijn:
- Productnamen ("Presidio" gedetecteerd als persoonsnaam)
- Bedrijfsnamen ("Apple" gedetecteerd als voornaam)
- Technische termen
- Geografische aanduidingen
Als u Presidio gebruikt voor documenten-productie en 77,3% van uw "naamredacties" fout zijn, produceert u over-geredigeerde documenten. Informatie die niet had moeten worden verwijderd, is verwijderd. Dit is een productieprobleem in e-discovery. Het is een bruikbaarheidsprobleem in onderzoeksdata.
Waarom de standaard precision zo laag is
Presidio's standaard NER-model is getraind op algemeen taalgebruik, niet op zakelijke documenten. In zakelijke documenten komen veel meer bedrijfs- en productnamen voor die lijken op persoonsnamen. Het model is niet getraind om het verschil te herkennen.
Verbetering vereist:
- Fine-tuning op domeinspecifieke trainingsdata
- Aangepaste context-regels die het model voor valse positieven waarschuwen
- Handmatig curated deny-lijsten voor bekende fout-gedetecteerde termen
Dit is engineering werk dat uren aan productieve tijd kost — per domein.
anonym.legal's aanpak
anonym.legal combineert NER met patroonmatching en contextuele validatie. De precisie op zakelijke documenten is significant hoger dan Presidio's standaard precisie. Niet omdat de onderliggende technologie fundamenteel anders is — maar omdat domeinspecifieke nauwkeurigheidsoptimalisatie standaard is ingebakken, niet optioneel.