Porez na lažno pozitivne rezultate PII alata za detekciju
Ažurirano za 2026.
Većina PII alata se ocenjuje na osnovu odziva. Odziv meri koji udeo stvarnog PII alat pronalazi. Ali preciznost je jednako važna. Preciznost meri koji udeo upozorenja alata predstavlja stvarni PII.
Niska preciznost je skupo. Sistem s 95% odziva i 22,7% preciznosti hvata većinu PII podataka. Ipak, za svaki pravi PII entitet koji označi, podiže i 3,4 pogrešna upozorenja. U skupu podataka s 10.000 pravih PII entiteta, taj sistem okida oko 44.000 upozorenja. Oko 34.000 od njih su pogrešna. Svako od njih košta vreme za pregled ili uzrokuje preterano brisanje.
Ovo je porez na lažno pozitivne rezultate. To je režijski trošak koji svaki tim plaća kada pokreće PII sistem s visokim odzivom i niskom preciznošću u velikom obimu. Direktni trošak je vreme recenzenata. Indirektni trošak je gori: preterano brisani dokumenti skrivaju korisne podatke, usporavaju rad i uništavaju poverenje u alat.
Šta pokazuje Presidio Issue #1071
Microsoft Presidio GitHub diskusija #1071 (2024) beleži specifičan obrazac. TFN (Tax File Number) i PCI prepoznavači koriste validaciju kontrolne sume. Brojevi koji prodje kontrolnu sumu dobijaju ocenu 1,0 — maksimalno poverenje. PII kontekst nije potreban.
Koreni uzrok: provera kontekstnih reči izvodi se posle koraka kontrolne sume, ne pre. Broj koji prodje kontrolnu sumu dobija visoku ocenu bez obzira na okolni tekst. U finansijskim tabelama, naučnim skupovima podataka ili log fajlovima, ovo poplavljuje izlaz pogrešnim upozorenjima. Filtriranje pragom ocene ne može to da popravi. Ocene su već na maksimumu.
Drugi obrazac pojavljuje se u Presidio issue #999. Nemačka segmentacija reči ne funkcioniše za složene imenice. Reči poput Bundesbehorde (savezni organ) mogu biti pogrešno podeljene i označene kao lična imena. Ovo dodaje šum u svaki nemačko-jezički dokument.
Problem preciznosti od 22,7%
Alvaro et al. (2024) testirali su Presidio na mešovitim jezičkim poslovnim skupovima podataka. Pronašli su preciznost od 22,7%. U stvarnim dokumentima, manje od jednog od četiri Presidio upozorenja je pravi PII entitet. Ovo se poklapa s onim što praktičari prijavljuju. Alat podešen samo za odziv proizvodi previše šuma za upotrebu u produkciji.
Istraživanje DICOM iz 2024. pokazalo je da podizanje score_threshold na 0,7 i dalje ostavlja pogrešna upozorenja u 38 od 39 medicinskih slika. Prag koji čisti šum u jednom tipu dokumenta stvara propuštene detekcije u drugom.
Ovo nije problem samo Presidia. Bilo koji fiksni prag forsira kompromis. Visok prag smanjuje šum, ali povećava propuštene detekcije. Nizak prag povećava odziv, ali povećava broj upozorenja.
Ocenjivanje svesno konteksta
Rešenje je ocenjivanje poverenja svesno konteksta. Umesto ocenjivanja samo na osnovu podudaranja obrasca, sistem povećava poverenje kada se kontekstne reči pojave blizu podudaranja. Takodje snižava ocenu kada kontekst nedostaje.
Za detekciju TFN: reči poput "tax file number", "TFN" ili "Australian tax" blizu broja povećavaju njegovu ocenu. Broj koji prodje kontrolnu sumu, ali nema obližnje kontekstne reči, dobija ocenu ispod praga za pregled. Lažno upozorenje se potiskuje.
Za višejezični šum: tipovi entiteta vezani za specifične države mogu biti ograničeni na dokumente na odgovarajućem jeziku. Detektor TFN-a ograničen na engleski i australijski-engleski tekst uklanja šum. Njegovo pokretanje na nemačkom sadržaju bez ograničenja je izvor problema.
Treći sloj u hibridnom sistemu je transformer model. On čita celi kontekstni prozor oko svakog kandidata. Razlikuje "John Smith, Patient ID 12345" od šifre proizvoda koji odgovara obrascu imena. Kontekst rešava dvosmislenost koju regex i kontrolne sume ne mogu.
Pogledajte kako trostruki motor za detekciju rukuje preciznošću u velikom obimu. Vodič za višejezičku PII detekciju pokriva kako višejezički šum utiče na GDPR usklađenost.
Praktični koraci
Pre implementacije bilo kog PII alata, izmerite njegovu preciznost — ne samo odziv.
Pokrenite alat na skupu dokumenata s poznatim PII i poznatim ne-PII podacima. Prebrojte upozorenja u obe grupe. Izračunajte true_positives / (true_positives + false_positives). Ovaj broj otkriva teret pregleda pre nego što se obavežete na implementaciju.
Za timove koji već koriste Presidio, analiza distribucije ocena je brz put. Izvezite uzorak detekcija s njihovim ocenama poverenja. Prebrojite koliko ih je ispod 0,6, 0,7 i 0,8. Veliki udeo upozorenja s visokom ocenom u čistom tekstu signalizira problem konteksta, ne problem praga. Pregled bezbednosne usklađenosti objašnjava kako to dokumentovati u DPIA.
Izvori
- Microsoft Presidio GitHub diskusija #1071: sistematski lažno pozitivni rezultati
- Microsoft Presidio GitHub Issue #999: Nemački jezički obrasci lažno pozitivnih rezultata
- Alvaro et al. (2024): Precisnost Presidia na mešovitim jezičkim poslovnim skupovima podataka.
- DICOM analiza praga ocene — zajednica Microsoft Presidio.