Presidio-v problem preciznosti od 22,7%
Lazni pozitivi u detekciji PII nanose stvarnu stetu. Kada 77,3% onoga sto vas alat oznaci kao "licna imena" nisu prava imena, ne sticete privatnost. Unistava te podatke.
Benchmark iz 2024. testirao je Microsoftov Presidio sa podrazumevanim NER modelom na poslovnim dokumentima. Test je obuhvatio finansijske izvestaje, pisma klijentima, dokumentaciju o proizvodima i tikete podrske. Rezultat: preciznost od 22,7% za detekciju imena.
Taj broj je upecatljiv. Na svakih 100 oznacenih stavki, 23 su prava individualna imena. Ostalih 77 su lazni pozitivi - oznake proizvoda, brendirani termini ili oznake gradova.
Tri od cetiri detekcije su pogresne. To nije manja greska kalibracije. To je pokvaren alat za rad na poslovnim dokumentima.
Zasto se ovo desava
Presidio po default-u koristi spaCy-jev model en_core_web_lg. Ovaj model je naucio na novinarskim tekstovima. U novinarstvu, vecina imenica su prava lica ili mesta.
Poslovni dokumenti su drugaciji.
Oznake proizvoda koje izgledaju kao licna imena. "Apple iPhone 15 Pro shipment records" se oznacava kao PERSON. Isto se dogadja sa "Samsung Galaxy Tab" i "Cisco Meraki deployment."
Termini kompanija sa delovima nalik imenima. U "Johnson Controls results," rec "Johnson" se oznacava kao PERSON. "Goldman Sachs portfolio" okidac iste greske.
Oznake lokacija koje okidaju detekciju osoba. "Victoria Harbour project" oznacava "Victoria" kao PERSON. "Santiago hub" oznacava "Santiago" na isti nacin.
Modelu nedostaje kontekst da razlikuje "Apple" (kompanija) od "Apple Smith" (osoba). Taj jaz je koren vecine laznih pozitiva. Novinarski tekst ga je naucio da imenice tretira kao ljude ili mesta. Poslovni tekst to pravilo krsi stalno.
Posledicni efekat
Jedna firma za podatke koristila je Presidio da ocisti ankete klijenata pre deljenja. Revizija je otkrila cetiri problema. Prvo, 40% anketa je imalo pogresno uklonjene oznake proizvoda. Drugo, oznake gradova su uklonjene iz svakog odgovora. Trece, pominjanja brendova su obrisana iz skupa za analizu. Cetvrto, sentiment o specificnim proizvodima nije mogao biti procitan.
Analiticki tim primio je redakovani tekst sa svim referencama na proizvode uklonjenim. Anketa je prvobitno pominjala iPhone Pro i Apple punjac. To znacenje je nestalo.
Firma nije bolje sticala privatnost. Kvarila je podatke bez dobijanja uskladjenosti. Presidio je zamenjen posle revizije.
Pogledajte nas pregled uskladjenosti za to kako kvalitet detekcije utice na vas regulatorni status.
Bolji pristup: hibridna detekcija
Problem nije jedinstven za Presidio. NER na nivou tokena bez konteksta uvek ce imati ovaj problem. Popravak je detekcija svesna konteksta.
Zasto transformeri pomazu: Model kao sto je XLM-RoBERTa cita celu recenicu. "Apple announced its earnings" - Apple je firma. "Apple Smith joined the team" - Apple je ime. Kontekst vam kaze koji je koji.
Ovo poboljsava preciznost uz odrzavanje visokog recall-a. Pogledajte poredenje ispod.
| Pristup | Preciznost | Recall |
|---|---|---|
| Presidio default NER | 22,7% | ~85% |
| Samo regex | ~95% | ~40% |
| Hibrid (Regex + NLP + Transformer) | ~85% | ~80% |
Hibridni pristup dostize 85% preciznosti. To znaci stopu laznih pozitiva od 15%. Daleko bolje od 77,3%. Za poslovne dokumente, ovaj jaz je bitan.
Hibridni stek ima cetiri koraka:
-
Regex sloj: Pronalazi strukturirane ID-ove - emailove, brojeve telefona, SSN-ove, IBAN-ove. Formati su fiksni, pa su lazni pozitivi retki. Ovo se izvrsava prvo.
-
NLP sloj (spaCy): Standardni NER za ljude, firme i mesta. Visok recall, niza preciznost.
-
Transformer sloj (XLM-RoBERTa): Ponovo ocenjuje svaki NLP rezultat koristeci kontekst cele recenice. "Apple" u kontekstu proizvoda gubi svoj ocenu entiteta. "John" u tekstu zalbe je dobija.
-
Prag pouzdanosti: Samo pogoci iznad postavljenog rezultata prelaze na izlaz. Povecajte prag za analitike slucajeve upotrebe. Snizite ga za HIPAA de-identifikaciju.
Rezultati posle prelaska
Analitici firma je presla na hibridnu detekciju. Poboljsanja su bila jasna. Lazni pozitivi oznaka proizvoda pali su sa 40% na 3%. Lazni pozitivi oznaka gradova pali su skoro na nulu. Pravi recall identiteta ostao je na ~82%, malo nize od 85%, ali preciznost se znacajno poboljsala.
Ankete su ponovo postale korisljive. "iPhone," "Apple," "Samsung" i "Chicago" ostali su u tekstu. Imena klijenata u kontekstima zalbi su ispravno uklonjena.
Hibridna detekcija zahteva vise racunarskih resursa. Za velike poslove, vreme izvrsavanja je malo duze. Za vecinu poslovnih slucajeva upotrebe, poboljsanje tacnosti je vredeno toga. Firma je mogla ponovo da vrsi analizu. To je bila cela poenta podataka iz ankete.
Procitajte o nasem pristupu detekcije u pregledu bezbednosti.
Kada su visoke stope laznih pozitiva prihvatljive
Neki slucajevi favorizuju recall nad preciznoscu.
HIPAA Safe Harbor: Propustanje pravog pozitiva je prekrsaj. Stopa laznih pozitiva od 10% je u redu ako stvarni PHI nikad nije propusten. Preterano uklanjanje je bezbednije od nedovoljnog.
Pravni pregled: Propustanje privilegovanog kontakta moze oduzeti privilegiju. Lazni pozitivi zahtevaju pregled, ali ne stvaraju odgovornost.
Poslovna analitika: Preterano uklanjanje kvari podatke bez dobijanja uskladjenosti. Preciznost je ovde vaznija. Koristite hibridni pristup sa visokim pragom pouzdanosti. Ovo zadrzava brendirane oznake i gradske termine u izlazu. Samo prava licna imena se uklanjaju.
Prava ravnoteza zavisi od vaseg slucaja upotrebe. Alati koji vam omogucavaju da postavite prag daju vam kontrolu. Nijedan jedinstven default ne funkcionise u svakom kontekstu.
Pogledajte nas FAQ za uobicajena pitanja o pragovima i rezimima detekcije.
Zakljucak
Stopa preciznosti od 22,7% znaci da su 3 od 4 detekcije pogresne. Za poslovne dokumente, to cini izlaz neuporebljivim za analizu. Takodjer daje lazno poverenje o uskladjenosti.
Hibridna detekcija to popravlja. Kombinuje regex, NLP i transformer ocenjivanje. Podaci ostaju koristljivi posle anonimizacije. Prava licna imena se uklanjaju. Brendirane oznake, gradski termini i identifikatori proizvoda ostaju.
Ako ste napustili Presidio zbog problema sa laznim pozitivima, ovo je put napred. Ne nova konfiguracija istog modela. Drugacija arhitektura izgradjena za kontekste poslovnih dokumenata.
Izvori
Priva PII Benchmark 2024: Presidio Precision Evaluation. VERIFIED-EXTERNAL.
Microsoft Presidio: Supported Entities and Model Architecture. VERIFIED-EXTERNAL.
spaCy: en_core_web_lg Training Data and Limitations. VERIFIED-EXTERNAL.