Ažurirano za 2026.
Problem preciznosti od 22,7%
Studija iz 2024. testirala je Microsoft Presidio na poslovnim fajlovima. Presidio je open-source alat za PII podatke. Pravni timovi i zdravstvene organizacije ga naširoko koriste.
Studija je merila koliko često je Presidio bio u pravu. Od svih stavki koje je označio kao imena osoba, koliko je zaista bila imena osoba?
Odgovor je bio 22,7%. Oko 77 od svakih 100 oznaka bilo je pogrešno. Studija je prebrojala 13.536 lažnih oznaka u 4.434 uzorka fajlova.
Greške nisu bile slučajne. Sledile su jasne obrasce:
- Zamenice označene kao osobe (reč I na početku rečenice)
- Oznake brodova označene kao osobe (ASL Scorpio)
- Oznake kompanija označene kao osobe (Deloitte & Touche)
- Termini za države označeni kao osobe (Argentina, Singapur)
Nijedno od ovih nije retki granični slučaj. Pojavljuju se uvek kada se opšti NLP model sretne s tekstom specifičnim za domenu. Model nije bio napravljen da ih razlikuje.
Šta lažne oznake koštaju
U pravnom i zdravstvenom radu, svaka oznaka zahteva odgovor. Timovi suočavaju se s tri opcije. Sve tri imaju stvarne troškove.
Opcija 1: Čovek proverava svaku oznaku. Vreme advokata i stručnjaka košta 200 do 800 dolara po satu. Pri preciznosti od 22,7%, obim je ogroman. Ovo nije izvodljivo u velikom obimu. Pogledajte Automatizacija PII u eDiscovery-u i smanjenje troškova pravnog pregleda za to kako troškovi pregleda rastu s obimom.
Opcija 2: Preskočite pregled i verujte izlazu. Ovo je takođe rizično. Kada 77% redaktovanih stavki nije osetljivo, stvarate pravni rizik. Sudovi su kažnjavali advokate zbog preterane redakcije. Pogledajte Sankcije zbog preterane redakcije u eDiscovery-u za dokumentovane slučajeve.
Opcija 3: Podignite prag ocene. Presidio omogućava korisnicima da postave score_threshold za odbacivanje slabih oznaka. Studija DICOM iz 2024. testirala je ovo na 0,7 — prilično visoka granica. Rezultat: 38 od 39 DICOM slika i dalje je imalo lažne oznake. Pragovi pomažu. Ne rešavaju osnovni uzrok.
Zašto se opšti NLP ovde muči
Jaz u Presidio potiče od nepodudaranja između podataka za obuku i stvarne upotrebe.
Pravni fajlovi su puni termina pisanih velikim slovima. Nazivi predmeta, naslovi zakona i kodovi izložaka izgledaju kao lični podaci opštom modelu. Model ih označava. Većina nisu lični podaci.
Zdravstveni fajlovi dodaju nazive lekova, kodove uređaja i kliničke skraćenice. Skraćenica Pt. znači Pacijent. Skraćenica Dr. znači Doktor. Ovi termini remete detekciju entiteta na načine koji su teški za predviđanje.
Finansijski fajlovi imaju šifre proizvoda, stringove entiteta i ID-ove naloga koji dele površinske obrasce s ličnim evidencijama.
Fino podešavanje modela na domenskim podacima pomaže. Ali za izgradnju i održavanje zahteva vreme i trud.
Kako hibridna detekcija rešava ovaj problem
Problеm lažnih oznaka ima jasno rešenje. Podelite posao po tipu podataka.
Pravila uzoraka za strukturirane podatke. Socijalni osiguraniški brojevi, telefonski brojevi, adrese e-pošte i formati identifikatora slede fiksna pravila. String ili odgovara obrascu i prolazi test kontrolne cifre, ili ne. Nema lažnih oznaka za validne skupove pravila.
Jezički modeli za slobodni tekst. Imena i prezimena, oznake kompanija i lokacije u prozi nemaju krutu strukturu. NLP ih pronalazi kada pravila ne mogu. Ocene poverenja i provere konteksta smanjuju stopu lažnih oznaka.
Podešavanja ocene po tipu za finu kontrolu. Pravni timovi koji ne mogu da rizikuju preteranu redakciju postavljaju visoke pragove za nejasna podudaranja. Istraživački timovi kojima je potrebna visoka sveobuhvatnost postavljaju niže. Pogledajte Binarno otkrivanje PII i ocenjivanje poverenja za usklađenost za to kako nivoi ocena funkcionišu u praksi.
Rezultat je daleko manje grešaka od podrazumevanih postavki Presidio. Sveobuhvatnost ostaje jaka tamo gde bi sama pravila propustila previše.
Za pravne i zdravstvene timove, ključno pitanje nije da li lažne oznake postoje. Uvek postoje u NLP sistemima. Pitanje je da li alat omogućava postavljanje, merenje i dokumentovanje tog kompromisa.