Päivitetty vuodelle 2026
22,7 %:n tarkkuusongelma
Vuoden 2024 tutkimus testasi Microsoft Presidiota kaupallisilla tiedostoilla. Presidio on avoimen lähdekoodin henkilötietotyökalu. Lakitiimit ja terveydenhuolto-organisaatiot käyttävät sitä laajasti.
Tutkimus mittasi, kuinka usein Presidio oli oikeassa. Kaikista kohteista, jotka se merkitsi henkilönnimiksi, kuinka moni todella oli henkilönnimi?
Vastaus: 22,7 %. Noin 77 sadasta merkinnästä oli virheellisiä. Tutkimus laski 13 536 väärää merkintää 4 434 näytetiedoston joukossa.
Virheet eivät olleet satunnaisia. Ne seurasivat selkeitä kaavoja:
- Pronominit merkitty henkilöiksi (esim. "I" lauseen alussa)
- Alusten nimikyltit merkitty henkilöiksi (esim. "ASL Scorpio")
- Yritysmerkinnät merkitty henkilöiksi (esim. "Deloitte & Touche")
- Maantieteelliset nimet merkitty henkilöiksi (esim. "Argentina" tai "Singapore")
Mikään näistä tapauksista ei ole harvinainen reunatapaus. Ne ilmenevät aina, kun yleinen NLP-malli kohtaa toimialakohtaista tekstiä. Mallia ei ole tehty erottamaan näitä toisistaan.
Mitä väärät merkinnät maksavat
Oikeudellisessa ja terveydenhuoltotyössä jokainen merkintä vaatii reagointia. Tiimeillä on kolme vaihtoehtoa. Kaikilla kolmella on todelliset kustannukset.
Vaihtoehto 1: Ihminen tarkistaa jokaisen merkinnän. Lakimiesten ja ammattilaisten aika maksaa 200–800 dollaria tunnissa. 22,7 %:n tarkkuudella volyymi on valtava. Tämä ei ole mittakaavassa toteutettavissa. Katso eDiscovery-henkilötietojen automatisointi ja oikeudellisen tarkistuksen kustannusten vähentäminen, jossa kuvataan kasvavat tarkistuskustannukset volyymin myötä.
Vaihtoehto 2: Ohita tarkistus ja luota tulokseen. Tämäkin on riskialtista. Jos 77 % peitettyjä kohteita ei ole arkaluonteisia, luot oikeudellisen riskin. Tuomioistuimet ovat sakottaneet lakimiehiä liiallisesta peittämisestä. Katso liiallisen peittämisen seuraamukset eDiscoveryssä dokumentoiduista tapauksista.
Vaihtoehto 3: Nosta pisteiden kynnystä. Presidio antaa käyttäjien asettaa score_threshold heikkojen merkintöjen poistamiseksi. Vuoden 2024 DICOM-tutkimus testasi tätä arvolla 0,7 — melko korkea kynnys. Tulos: 38/39 DICOM-kuvasta oli edelleen väärät positiiviset. Kynnysarvot auttavat. Ne eivät poista perussyytä.
Miksi yleinen NLP epäonnistuu tässä
Presidion aukko johtuu harjoitusaineiston ja todellisen käytön välisestä epäsopivuudesta.
Oikeudelliset tiedostot sisältävät runsaasti isoja alkukirjaimia käyttäviä termejä. Tapausten nimet, lakien otsikot ja liitteiden koodit kaikki näyttävät henkilötiedoilta yleiselle mallille. Se merkitsee ne. Useimmat niistä eivät ole henkilötietoja.
Terveydenhuollon tiedostot lisäävät lääkenimiä, laitekoodeja ja kliinisiä lyhenteitä. Lyhenne "Pt." tarkoittaa potilasta. "Dr." tarkoittaa lääkäriä. Nämä lyhenteet häiritsevät entiteettien tunnistusta tavoin, joita on vaikea ennustaa.
Taloudelliset tiedostot sisältävät tuotekoodeja, entiteettijonoja ja tilin ID:itä, jotka jakavat pintakaavoja henkilötietueiden kanssa.
Mallin hienosäätö toimialakohtaisella datalla auttaa. Mutta sen luominen ja ylläpitäminen vaatii aikaa ja vaivaa.
Miten hybriditunnistus ratkaisee tämän
Väärän positiivisen ongelmaan on selvä ratkaisu. Jaa työ datatyypin mukaan.
Kaavausäännöt rakenteelliselle datalle. Sosiaaliturvatunnukset, puhelinnumerot, sähköpostiosoitteet ja ID-muodot noudattavat kiinteitä sääntöjä. Merkkijono joko vastaa kaavaa ja läpäisee tarkistusnumerotestin tai ei. Nolla väärää positiivista kelvollisille sääntöjoukoille.
Kielimallit vapaalle tekstille. Etu- ja sukunimet, yritystunnisteet ja paikat proosassa eivät ole kiinteärakenteisia. NLP löytää ne sieltä, missä säännöt eivät riitä. Luottamuspisteet ja kontekstitarkistukset vähentävät väärän positiivisen astetta.
Pisteiden asettaminen kullekin tyypille hienojakoista hallintaa varten. Lakitiimit, jotka eivät voi riskeerata liiallista peittämistä, asettavat korkeat kynnysarvot epätarkoille vastaavuuksille. Tutkimustiimit, jotka tarvitsevat korkean kattavuuden, asettavat alhaisemman. Katso Binäärinen henkilötietotunnistus ja luottamuspisteytys vaatimustenmukaisuudessa, miten pisteiden tasot toimivat käytännössä.
Tulos on huomattavasti vähemmän virheitä kuin Presidion oletusasetuksilla. Kattavuus pysyy vahvana siellä, missä säännöt yksinään jättäisivät liikaa huomaamatta.
Oikeudellisille ja terveydenhuoltotiimeille keskeinen kysymys ei ole, ovatko väärät positiiviset olemassa. Ne ovat aina olemassa NLP-järjestelmissä. Kysymys on, mahdollistaako työkalu tämän kompromissin asettamisen, mittaamisen ja dokumentoinnin.