Problém přesnosti Presidia: 22,7 %
Falešně pozitivní výsledky při detekci PII způsobují skutečné škody. Když 77,3 % toho, co váš nástroj označí jako „jméno osoby”, jmény osob není, nechráníte soukromí. Ničíte data.
Benchmark z roku 2024 testoval výchozí NER model Microsoft Presidio na obchodních dokumentech. Test zahrnoval finanční zprávy, dopisy zákazníkům, produktovou dokumentaci a záznamy podpory. Výsledek: 22,7% přesnost při detekci jmen.
Toto číslo je zarážející. Ze 100 označených položek je 23 skutečná jména fyzických osob. Zbývajících 77 jsou falešně pozitivní výsledky — produktové štítky, názvy značek nebo označení měst.
Tři ze čtyř detekcí jsou chybné. To není drobný problém s kalibrací. To je nefunkční nástroj pro práci s obchodními dokumenty.
Proč k tomu dochází
Presidio jako výchozí nastavení používá model spaCy en_core_web_lg. Tento model byl trénován na zpravodajských textech. Ve zprávách jsou většina vlastních jmen skutečné osoby nebo místa.
Obchodní dokumenty fungují jinak.
Produktové štítky, které vypadají jako jména osob. „Záznamy o zásilkách Apple iPhone 15 Pro” jsou označeny jako PERSON. Stejně tak „Samsung Galaxy Tab” a „nasazení Cisco Meraki”.
Firemní označení s částmi připomínajícími jména. V textu „výsledky Johnson Controls” je slovo „Johnson” označeno jako PERSON. „Portfólio Goldman Sachs” spouští stejnou chybu.
Označení lokalit, která spouštějí detekci osob. „Projekt Victoria Harbour” označí „Victoria” jako PERSON. „Uzel Santiago” označí „Santiago” stejným způsobem.
Modelu chybí kontext pro rozlišení „Apple” (společnost) od „Apple Smith” (osoba). Tato mezera je kořenem většiny falešně pozitivních výsledků. Zpravodajské texty ho naučily považovat vlastní jména za osoby nebo místa. Obchodní texty toto pravidlo neustále porušují.
Následné důsledky
Datavá firma použila Presidio k čištění zákaznických průzkumů před jejich sdílením. Audit odhalil čtyři problémy. Za prvé, 40 % průzkumů mělo nesprávně odstraněné produktové štítky. Za druhé, označení měst byla vymazána z každé odpovědi. Za třetí, zmínky o značkách byly smazány z analytické sady. Za čtvrté, sentiment o konkrétních produktech nešlo přečíst.
Analytický tým obdržel redakovaný text se všemi odstraněnými produktovými referencemi. Průzkum původně zmiňoval iPhone Pro a nabíječku Apple. Tento význam byl ztracen.
Firma nechránila soukromí lépe. Ničila data, aniž by dosáhla compliance. Po auditu bylo Presidio nahrazeno.
Viz náš přehled compliance pro vliv kvality detekce na vaše regulatorní postavení.
Lepší přístup: Hybridní detekce
Problém není specifický pro Presidio. NER na úrovni tokenů bez kontextu bude mít vždy tento problém. Řešením je detekce s ohledem na kontext.
Proč transformery pomáhají: Model jako XLM-RoBERTa čte celou větu. „Apple oznámil výsledky” → Apple je firma. „Apple Smith nastoupil do týmu” → Apple je křestní jméno. Kontext vám řekne, o co jde.
To zlepšuje přesnost při zachování vysoké recall. Viz porovnání níže.
| Přístup | Přesnost | Recall |
|---|---|---|
| Výchozí NER Presidia | 22,7 % | ~85 % |
| Pouze regex | ~95 % | ~40 % |
| Hybridní (Regex + NLP + Transformer) | ~85 % | ~80 % |
Hybridní přístup dosahuje 85% přesnosti. To znamená míru falešně pozitivních výsledků 15 %. Výrazně lepší než 77,3 %. Pro obchodní dokumenty je tento rozdíl zásadní.
Hybridní zásobník má čtyři kroky:
-
Vrstva regex: Vyhledává strukturované identifikátory — e-maily, telefonní čísla, rodná čísla, IBAN. Formáty jsou pevně dané, takže falešně pozitivní výsledky jsou vzácné. Tato vrstva běží jako první.
-
Vrstva NLP (spaCy): Standardní NER pro osoby, firmy a místa. Vysoká recall, nižší přesnost.
-
Vrstva transformeru (XLM-RoBERTa): Přeskóruje každý výsledek NLP pomocí kontextu celé věty. „Apple” v produktovém kontextu ztrácí skóre entity. „Jan” v textu stížnosti ho získává.
-
Prahová hodnota spolehlivosti: Do výstupu projdou pouze výsledky nad nastavenou hodnotou. Pro analytické případy prahovou hodnotu zvyšte. Pro de-identifikaci podle HIPAA ji snižte.
Výsledky po přechodu
Analytická firma přešla na hybridní detekci. Zisky byly zřejmé. Falešně pozitivní výsledky u produktových štítků klesly ze 40 % na 3 %. Falešně pozitivní výsledky u označení měst klesly téměř na nulu. Recall skutečných identit zůstala na ~82 %, mírně pod původními 85 %, ale přesnost se výrazně zlepšila.
Průzkumy se opět staly použitelnými. „iPhone”, „Apple”, „Samsung” a „Chicago” zůstaly v textu. Jména zákazníků v kontextu stížností byla správně odstraněna.
Hybridní detekce vyžaduje více výpočetních prostředků. U velkých úloh jsou doby zpracování o něco delší. Pro většinu obchodních případů využití stojí zisk přesnosti za to. Firma mohla znovu provádět analýzy. To byl celý smysl dat z průzkumů.
Přečtěte si o našem přístupu k detekci v přehledu bezpečnosti.
Kdy jsou vysoké míry falešně pozitivních výsledků přijatelné
Některé případy upřednostňují recall před přesností.
HIPAA Safe Harbor: Přehlédnutí skutečného pozitivního výsledku je porušení. Míra falešně pozitivních výsledků 10 % je přijatelná, pokud skutečné PHI nikdy není přehlédnuto. Nadměrné odstranění je bezpečnější než nedostatečné.
Právní review: Přehlédnutí privilegovaného kontaktu může způsobit vzdání se privilegia. Falešně pozitivní výsledky je třeba přezkoumat, ale nevzniká z nich odpovědnost.
Obchodní analytika: Nadměrné odstranění ničí data bez compliance přínosu. Přesnost je zde důležitější. Použijte hybridní přístup s vysokou prahovou hodnotou spolehlivosti. Tím zůstanou ve výstupu štítky značek a pojmenování měst. Odstraní se pouze skutečná jména osob.
Správná rovnováha závisí na vašem případu použití. Nástroje umožňující nastavit prahovou hodnotu vám dávají kontrolu. Žádné výchozí nastavení nefunguje pro každý kontext.
Viz náš FAQ pro časté dotazy o prahových hodnotách a režimech detekce.
Závěr
Míra přesnosti 22,7 % znamená, že 3 ze 4 detekcí jsou chybné. Pro obchodní dokumenty to způsobuje, že výstup je pro analýzu nepoužitelný. Zároveň to vzbuzuje falešné přesvědčení o dosažení compliance.
Hybridní detekce tento problém řeší. Kombinuje regex, NLP a skórování pomocí transformeru. Data zůstanou po anonymizaci použitelná. Skutečná jména osob jsou odstraněna. Štítky značek, pojmenování měst a identifikátory produktů zůstávají.
Pokud jste opustili Presidio kvůli problémům s falešně pozitivními výsledky, toto je cesta vpřed. Nikoli nová konfigurace stejného modelu. Jiná architektura postavená pro kontext obchodních dokumentů.
Zdroje
Priva PII Benchmark 2024: Hodnocení přesnosti Presidia. OVĚŘENO-EXTERNĚ.
Microsoft Presidio: Podporované entity a architektura modelu. OVĚŘENO-EXTERNĚ.
spaCy: Trénovací data en_core_web_lg a omezení. OVĚŘENO-EXTERNĚ.