Presidion 22,7 %:n tarkkuusongelma
Väärät positiiviset henkilötietojen tunnistuksessa aiheuttavat todellisia haittoja. Kun 77,3 % siitä, mitä työkalusi merkitsee "henkilönnimiksi", ei ole oikeita nimiä, et suojaa yksityisyyttä. Tuhoat dataa.
Vuoden 2024 vertailutesti testasi Microsoft Presidion oletusarvoista NER-mallia yritysasiakirjoilla. Testi kattoi talousraportit, asiakaskirjeet, tuotedokumentaation ja tukitiketit. Tulos: 22,7 %:n tarkkuus nimien tunnistuksessa.
Tämä luku on hätkähdyttävä. Sadasta merkitystä kohteesta 23 on oikeita henkilönnimiä. Loput 77 ovat vääriä positiivisia — tuotemerkintöjä, bränditermejä tai maantieteellisiä nimityksiä.
Kolme neljästä tunnistuksesta on virheellisiä. Kyse ei ole pienestä kalibrointiongelmasta. Kyse on väärästä työkalusta yritysasiakirjoihin.
Miksi näin käy
Presidio käyttää oletuksena spaCyn en_core_web_lg-mallia. Tämä malli on koulutettu uutistekstillä. Uutisissa useimmat erisnimet ovat oikeita henkilöitä tai paikkoja.
Yritysasiakirjat ovat erilaisia.
Tuotemerkinnät, jotka muistuttavat henkilönnimiä. "Toimitus Apple iPhone 15 Pro" merkitään PERSON-entiteetiksi. Samoin "Samsung Galaxy Tab" ja "Cisco Meraki -jakelu".
Yritysterminologiaa, jossa on nimenomaisesti nimimäisiä osia. Ilmauksessa "Johnson Controls -tulokset" sana "Johnson" merkitään PERSON-entiteetiksi. "Goldman Sachs -salkku" laukaisee saman virheen.
Maantieteelliset nimitykset, jotka aktivoivat henkilöntunnistuksen. "Victoria Harbour -projekti" merkitsee "Victorian" PERSON-entiteetiksi. "Santiago-solmu" tekee saman.
Malli ei osaa erottaa "Apple" (yritys) sanasta "Apple Smith" (henkilö). Tämä aukko on useimpien väärien positiivisten juurisyy. Uutisteksti opetti sen kohtelemaan erisnimiä henkilöinä tai paikkoina. Yritysasiakirjat rikkovat tätä sääntöä jatkuvasti.
Vaikutus jatkokäyttöön
Eräs data-analytiikkayritys käytti Presidiota asiakaskyselyiden puhdistamiseen ennen jakamista. Auditointi paljasti neljä ongelmaa. Ensinnäkin 40 %:sta kyselyitä oli poistettu tuotemerkinnät virheellisesti. Toiseksi maantieteelliset nimitykset oli poistettu jokaisesta vastauksesta. Kolmanneksi brändimaininnat oli poistettu analytiikkadatajoukosta. Neljänneksi tunneanalyysi tietyistä tuotteista ei enää ollut luettavissa.
Analytiikkatiimi sai häivytettyä tekstiä, josta kaikki tuoteviittaukset oli poistettu. Kysely mainitsi alun perin iPhone Pron ja Apple-laturin. Tuo merkitys oli kadonnut.
Yritys ei suojannut yksityisyyttä paremmin. Se tuhosi dataa ilman, että sai compliance-hyötyä. Presidio vaihdettiin auditoinnin jälkeen.
Katso compliance-yleiskatsauksemme ymmärtääksesi, miten tunnistuksen laatu vaikuttaa sääntelylliseen asemaan.
Parempi lähestymistapa: hybridi-tunnistus
Ongelma ei ole yksinomaan Presidion. Token-tason NER ilman kontekstia kärsii aina tästä ongelmasta. Ratkaisu on kontekstin huomioiva tunnistus.
Miksi transformer-mallit auttavat: Malli kuten XLM-RoBERTa lukee koko lauseen. "Apple ilmoitti tuloksistaan" → Apple on yritys. "Apple Smith liittyi tiimiin" → Apple on erisnimi. Konteksti kertoo, kumpi on kyseessä.
Tämä parantaa tarkkuutta pitäen kattavuuden korkeana. Katso alla oleva vertailu.
| Lähestymistapa | Tarkkuus | Kattavuus |
|---|---|---|
| Presidion oletusarvoinen NER | 22,7 % | ~85 % |
| Pelkkä regex | ~95 % | ~40 % |
| Hybridi (Regex + NLP + Transformer) | ~85 % | ~80 % |
Hybridilähestymistapa saavuttaa 85 %:n tarkkuuden. Se tarkoittaa 15 %:n väärän positiivisen astetta. Paljon parempi kuin 77,3 %. Yritysasiakirjoissa tämä ero on merkittävä.
Hybridiratkaisu koostuu neljästä vaiheesta:
-
Regex-taso: Löytää rakenteelliset tunnisteet — sähköpostit, puhelinnumerot, SSN:t, IBAN:t. Muodot ovat kiinteitä, joten väärät positiiviset ovat harvinaisia. Suoritetaan ensin.
-
NLP-taso (spaCy): Standardi NER henkilöille, yrityksille ja paikoille. Korkea kattavuus, pienempi tarkkuus.
-
Transformer-taso (XLM-RoBERTa): Arvioi jokaisen NLP-tuloksen uudelleen koko lauseen kontekstia käyttäen. "Apple" tuotekontekstissa menettää entiteetti-pistemääränsä. "John" valitustekstissä saa sen.
-
Luottamuskynnys: Vain tulokset, joiden pistemäärä ylittää määrätyn rajan, siirtyvät tulosteeseen. Nosta kynnystä analytiikan käyttötapauksissa. Laske sitä HIPAA-de-identifiointiin.
Tulokset siirtymisen jälkeen
Data-analytiikkayritys siirtyi hybridi-tunnistukseen. Parannukset olivat selkeitä. Väärät positiiviset tuotemerkinnöissä laskivat 40 %:sta 3 %:iin. Väärät positiiviset maantieteellisissä nimityksissä laskivat lähes nollaan. Oikeiden henkilöllisyyksien kattavuus pysyi noin 82 %:ssa, hieman alle 85 %:n, mutta tarkkuus parani huomattavasti.
Kyselyt olivat jälleen käyttökelpoisia. "iPhone", "Apple", "Samsung" ja "Chicago" säilyivät tekstissä. Asiakkaiden nimet valituskonteksteissa poistettiin oikein.
Hybridi-tunnistus vaatii enemmän laskentaresursseja. Suurissa töissä suoritusajat ovat hieman pidempiä. Useimmissa yritystoiminnan käyttötapauksissa tarkkuuden parannus on vaivansa arvoinen. Yritys saattoi ajaa analyysit uudelleen. Siinähän oli kyselydatan pointti.
Lue tunnistamislähestymistapanamme tietoturva-yleiskatsauksestamme.
Milloin korkeat väärän positiivisen asteet ovat hyväksyttäviä
Joissakin tapauksissa kattavuus menee tarkkuuden edelle.
HIPAA Safe Harbor: Oikean positiivisen menettäminen on loukkaus. 10 %:n väärän positiivisen aste on hyväksyttävä, jos oikeita terveystietoja ei koskaan menetetä. Ylipoistaminen on turvallisempaa kuin alipoistaminen.
Oikeudellinen tarkistus: Etuoikeutetun kontaktin menettäminen saattaa luopua etuoikeudesta. Väärät positiiviset vaativat tarkistuksen mutta eivät luo vastuuta.
Liiketoiminta-analytiikka: Ylipoistaminen tuhoaa dataa ilman compliance-hyötyä. Tässä tarkkuus on tärkeämpää. Käytä hybridilähestymistapaa korkealla luottamuskynnyksellä. Tämä pitää bränditunnisteet ja maantieteelliset termit tulosteessa. Vain oikeat henkilönnimet poistetaan.
Oikea tasapaino riippuu käyttötapauksesta. Työkalut, jotka sallivat kynnyksen asettamisen, antavat hallinnan. Mikään oletusarvo ei toimi jokaisessa kontekstissa.
Katso UKK yleisistä kysymyksistä kynnyksistä ja tunnistamistiloista.
Yhteenveto
22,7 %:n tarkkuusaste tarkoittaa, että 3 tunnistuksesta 4 on virheellisiä. Yritysasiakirjoissa tämä tekee tulosteesta käyttökelvottoman analytiikkaan. Se antaa myös väärän turvallisuuden tunteen compliancesta.
Hybridi-tunnistus ratkaisee ongelman. Se yhdistää regexin, NLP:n ja transformer-pisteytyksen. Data säilyy käyttökelpoisena anonymisoinnin jälkeen. Oikeat henkilönnimet poistetaan. Bränditunnisteet, maantieteelliset termit ja tuotetunnisteet säilyvät.
Jos olet hylännyt Presidion väärien positiivisten takia, tämä on etenemistie. Ei sama malli uudelleenkonfiguroituna. Eri arkkitehtuuri, joka on rakennettu yritysasiakirjakonteksteja varten.
Lähteet
Priva PII Benchmark 2024: Presidion tarkkuuden arviointi. VAHVISTETTU-ULKOINEN.
Microsoft Presidio: Tuetut entiteetit ja malliarkkitehtuuri. VAHVISTETTU-ULKOINEN.
spaCy: Opetusdata ja en_core_web_lg:n rajoitukset. VAHVISTETTU-ULKOINEN.