Presidio se 22.7% Presisieprobleem
Vals positiewes in PII-opsporing veroorsaak werklike skade. Wanneer 77.3% van wat jou nutsmiddel as "persoonsnamen" merk, nie werklike name is nie, beskerm jy nie privaatheid nie. Jy verwoes data.
'n 2024-maatstaf het Microsoft Presidio se verstek-NER-model op besigheidsdokumente getoets. Die toets het finansiele verslae, klientebriewe, produkdokumente en ondersteuningskaartjies gedek. Die uitslag: 22.7% presisie vir naamopsporing.
Dardie getal is opvallend. Vir elke 100 items wat gemerk is, is 23 werklike individuele name. Die ander 77 is vals positiewes -- produk-etikette, handelsmerktermen of stadetikettte.
Drie uit vier opsporings is verkeerd. Dit is nie 'n geringe kalibrasie-kwessie nie. Dit is 'n gebroke nutsmiddel vir besigheidsdokumentwerk.
Hoekom Dit Gebeur
Presidio gebruik spaCy se en_core_web_lg-model as verstek. Hierdie model het van nuusteks geleer. In nuus is die meeste eienamme werklike mense of plekke.
Besigheidsdokumente is anders.
Produk-etikette wat soos individuele name lyk. "Apple iPhone 15 Pro versendingsrekords" word as PERSOON gemerk. So ook "Samsung Galaxy Tab" en "Cisco Meraki-ontplooiing."
Firmatermen met naamsoortige dele. In "Johnson Controls-resultate" word die woord "Johnson" as PERSOON gemerk. "Goldman Sachs-portefeulje" aktiveer dieselfde fout.
Pleketikettte wat persoonopsporing aktiveer. "Victoria Harbour-projek" merk "Victoria" as PERSOON. "Santiago-sentrum" merk "Santiago" op dieselfde manier.
Die model het nie die konteks om "Apple" (maatskappy) van "Apple Smith" (person) te onderskei nie. Hierdie gaping is die wortel van die meeste vals positiewes. Nuusteks het dit geleer om eienamme as mense of plekke te behandel. Besigheidsteks breek hierdie reel aanhoudend.
Die Afwaartse Effek
'n Datafirma het Presidio gebruik om klienteopnames skoon te maak voor deling. 'n Oudit het vier probleme gevind. Eerstens het 40% van opnames produketikette verkeerdelik laat verwyder. Tweedens is stadetikettte van elke respons gestroop. Derdens is handelsmerkvermeldinge uit die ontledingstel uitgewis. Vierdens kon sentiment oor spesifieke produkte nie gelees word nie.
Die ontledingspan het geredigeerde teks ontvang waaruit alle produksverwysings verwyder is. Die opname het oorspronklik iPhone Pro en die Apple-laaier genoem. Daardie betekenis was weg.
Die firma het nie privaatheid beter beskerm nie. Dit het data verwoes sonder dat nakoming verkry is. Presidio is na die oudit vervang.
Sien ons nakoming-oorsig vir hoe opsporingskwaliteit u regulatoriese status beinvloed.
'n Beter Benadering: Hibriede Opsporing
Die probleem is nie uniek aan Presidio nie. Token-vlak NER sonder konteks sal altyd hierdie kwessie he. Die oplossing is konteksgewaar opsporing.
Hoekom transformermodelle help: A model soos XLM-RoBERTa lees die volle sin. "Apple het sy verdienste aangekondig" -- Apple is 'n firma. "Apple Smith het by die span aangesluit" -- Apple is 'n voornaam. Die konteks vertel jou watter een dit is.
Dit verbeter presisie terwyl terugroeping hoog bly. Sien die vergelyking hieronder.
| Benadering | Presisie | Terugroeping |
|---|---|---|
| Presidio verstek NER | 22.7% | ~85% |
| Regex-slegs | ~95% | ~40% |
| Hibried (Regex + NLP + Transformer) | ~85% | ~80% |
Die hibriede benadering bereik 85% presisie. Dit beteken 'n 15% vals positiewe tempo. Baie beter as 77.3%. Vir besigheidsdokumente maak hierdie gaping saak.
Die hibriede stapel het vier stappe:
-
Regex-laag: Vind gestruktureerde ID's -- e-posse, telefoonnommers, SSN's, IBAN's. Formate is vas, so vals positiewes is seldsaam. Dit loop eerste.
-
NLP-laag (spaCy): Standaard NER vir mense, firmas en plekke. Hoe terugroeping, laer presisie.
-
Transformer-laag (XLM-RoBERTa): Herpunteer elke NLP-resultaat met gebruik van volle sinkonteks. "Apple" in 'n produkonteks verloor sy entiteitspunt. "John" in 'n klagtekonteks kry dit.
-
Vertrouedrempel: Slegs treffers bo 'n vasgestelde punt gaan na die uitvoer. Verhoog die drempel vir ontledingsgebruiksgevalle. Verlaag dit vir HIPAA-de-identifisering.
Resultate Na die Oorskakeling
Die ontledingsfirma het na hibriede opsporing oorgeskakel. Die winste was duidelik. Produketiket-vals positiewes het van 40% na 3% gedaal. Stadetiket-vals positiewes het tot naby nul gedaal. Werklike identiteitsterugroeping het op ~82% gebly, effens laer as 85%, maar presisie het baie verbeter.
Opnames het weer bruikbaar geword. "iPhone," "Apple," "Samsung," en "Chicago" het in die teks gebly. Kliente-name in klagtekontekste is korrek verwyder.
Hibriede opsporing vereis meer rekenaarkrag. Vir groot take is looptye effens langer. Vir die meeste besigheidsgebruiksgevalle is die akkuraatheidswinst die moeite werd. Die firma kon weer ontledings doen. Dit was die hele punt van die opname-data.
Lees oor ons opsporingsbenadering in die sekuriteitsoorsig.
Wanneer Hoe Vals Positiewe Tempo's Aanvaarbaar Is
Sommige gevalle begunstig terugroeping bo presisie.
HIPAA Veilige Hawe: Die mis van 'n ware positiewe is 'n oortreding. 'n 10% vals positiewe tempo is goed as werklike PHI nooit gemis word nie. Oorverwydering is veiliger as onderverwydering.
Regsbeoordeling: Die mis van 'n bevoorregte kontak kan voorreg verwerp. Vals positiewes benodig hersiening maar skep nie aanspreeklikheid nie.
Besigheidsontledings: Oorverwydering breek data sonder 'n nakoming-winst. Presisie maak meer saak hier. Gebruik 'n hibriede benadering met 'n hoe vertrouedrempel. Dit hou handelsmerk-etikette en stadetikettte in die uitvoer. Slegs werklike persoonsnamen word verwyder.
Die regte balans hang af van u gebruiksgeval. Nutsmiddels wat u toelaat om die drempel in te stel, gee u beheer. Geen enkele verstek werk vir elke konteks nie.
Sien ons Gereelde Vrae vir algemene vrae oor drempels en opsporingsmodi.
Gevolgtrekking
'n 22.7% presisietempo beteken 3 uit 4 opsporings is verkeerd. Vir besigheidsdokumente maak uitvoer onbruikbaar vir ontledings. Dit gee ook valse vertroue oor nakoming.
Hibriede opsporing los dit op. Dit kombineer regex, NLP en transformerpuntestelling. Data bly bruikbaar na anonimisering. Werklike persoonsnamen word verwyder. Handelsmerk-etikette, stadetikettte en produk-identifiseerders bly in.
As u Presidio weens vals positiewe kwessies verlaat het, is dit die pad vorentoe. Nie 'n nuwe konfigurasie van dieselfde model nie. 'n Ander argitektuur gebou vir besigheidsdokumentkontekste.
Bronne
Priva PII Benchmark 2024: Presidio Presisie-Evaluering. GEVERIFIEER-EKSTERN.
Microsoft Presidio: Ondersteunde Entiteite en Modelargitektuur. GEVERIFIEER-EKSTERN.
spaCy: en_core_web_lg Opleidingsdata en Beperkings. GEVERIFIEER-EKSTERN.