Uuendatud 2026. aastaks
22,7% täpsuse probleem
- aasta uuring testis Microsoft Presidiot ärifailide peal. Presidio on avatud lähtekoodiga PII-tööriist. Juristide meeskonnad ja tervishoiugrupid kasutavad seda laialdaselt.
Uuring mõõtis, kui tihti Presidio oli õige. Kõigist üksustest, mida see isiku nimedena märkis, kui paljud olid tegelikult isiku nimed?
Vastus oli 22,7%. Umbes 77 iga 100 märgistuse kohta olid valed. Uuring loendas 13 536 valet märgistust 4434 näidisfailis.
Vead ei olnud juhuslikud. Need järgisid selgeid mustreid:
- Asesõnad märgistati inimestena ("mina" lause alguses)
- Laevade sildid märgistati inimestena ("ASL Scorpio")
- Ettevõtete sildid märgistati inimestena ("Deloitte & Touche")
- Riikide terminid märgistati inimestena ("Argentiina", "Singapur")
Need ei ole haruldased servajuhtumid. Need ilmuvad alati, kui üldine NLP-mudel kohtub valdkonnaspetsiifilise tekstiga. Mudel ei ole ehitatud nende eristamiseks.
Mida valemärgistused maksavad
Juriidilises ja tervishoiu töös vajab iga märgistus vastust. Meeskonnad seisavad silmitsi kolme valikuga. Kõigil kolmel on reaalsed kulud.
Valik 1: Inimene kontrollib iga märgistust. Advokaadi ja eksperdi aeg maksab 200-800 eurot tunnis. 22,7% täpsusega on maht tohutu. See ei ole suuremahuliselt teostatav. Vaadake eDiscovery PII automatiseerimine ja juriidilise ülevaate kulude vähendamine, et näha, kuidas ülevaate kulud mahuga kasvavad.
Valik 2: Jätke ülevaade vahele ja usaldage väljundit. See on samuti riskantne. Kui 77% "redakteeritud" üksustest ei ole tundlikud, loote juriidilise riski. Kohtud on advokaate üleliigse redakteerimise eest trahvinud. Dokumenteeritud juhtumite kohta vaadake eDiscovery üleliigse redakteerimise sanktsioonid.
Valik 3: Tõstke skoori lävendit. Presidio lubab kasutajatel nõrkade märgistuste langetamiseks seada score_threshold. 2024. aasta DICOM-uuring testis seda 0,7-l - küllaltki kõrgel laval. Tulemus: 38-l 39-st DICOM-pildist olid endiselt valemärgistused. Lävend aitab. See ei paranda juurpõhjust.
Miks üldine NLP siin võitleb
Presidio lünk tuleneb treeningandmete ja reaalse kasutuse vahelisest mittevastavusest.
Juriidilised failid on täis suurtähelisi termineid. Kohtuasja nimed, seaduste pealkirjad ja näituse koodid näevad üldisele mudelile välja isikuandmetena. See märgib need. Enamik neist ei ole isikuandmed.
Tervishoiu failid lisavad ravimite nimed, seadmekoodid ja kliinilised lühivormid. "Pt." tähendab Patsienti. "Dr." tähendab Arsti. Need häirivad üksuste tuvastamist viisil, mida on raske ennustada.
Finantsfailides on tootekoodid, üksuse stringid ja kontode ID-d, mis jagavad isikukirjetega pinnatasandi mustreid.
Mudeli peenreguleerimine valdkonna andmetel aitab. Kuid selle koostamine ja ajakohastamine võtab aega ja pingutusi.
Kuidas hübriidtuvastus seda parandab
Valemärgistuse probleemil on selge lahendus. Jagage töö andmetüübi järgi.
Mustri reeglid struktureeritud andmete jaoks. Sotsiaalkindlustuse numbrid, telefoninumbrid, e-posti aadressid ja ID-vormingud järgivad fikseeritud reegleid. String kas vastab mustrile ja läbib kontrollnumbri testi, või ei. Kehtivate reeglikomplektide puhul pole valepositiivseid.
Keelemudelid vaba teksti jaoks. Ees- ja perekonnanimed, ettevõtete sildid ja asukohad proosas puuduvad jäigast struktuurist. NLP leiab need, kui reeglid ei suuda. Usaldusskoorid ja kontekstikontrollid vähendavad valepositiivsete määra.
Tüübipõhised skoori seaded peenhäälestuseks. Juristide meeskonnad, kes ei saa üleliigset redakteerimist riskida, seavad häguste vastete jaoks kõrge lävendi. Teadusmeeskonnad, kes vajavad kõrget meelespidamist, seavad madalamad. Skooritasemete toimimise kohta praktikas vaadake Binaarne PII tuvastamine ja usaldusskoorid vastavuse jaoks.
Tulemus on palju vähem vigu kui Presidio vaikeseaded. Meelespidamine jääb tugevaks seal, kus reeglid üksi jätaksid liiga palju vahele.
Juristide ja tervishoiu meeskondade jaoks ei ole põhiküsimus see, kas valemärgistused on olemas. Need on alati olemas NLP-süsteemides. Küsimus on selles, kas tööriist võimaldab teil kompromissi seada, mõõta ja dokumenteerida.