Vain englanninkieliset henkilötietotyökalut: GDPR-aukko
GDPR:llä ei ole kielipreferenssejä
GDPR koskee henkilötietoja kaikilla kielillä. Saksa, ranska, puola, ruotsi — kaikki ovat yhtä lailla katettuja. Jäänyt huomaamatta Steuer-ID aiheuttaa saman oikeudellisen riskin kuin jäänyt huomaamatta sosiaaliturvatunnus. Laki ei katso kieltä.
Useimmat henkilötietojen tunnistustyökalut katsovat.
Johtavat kaupalliset ja avoimen lähdekoodin työkalut on rakennettu englanninkieliselle tekstille. Niiden entiteettitunnistimet heijastavat tätä. Ne kattavat hyvin yhdysvaltalaiset sosiaaliturvatunnukset, yhdysvaltalaiset ajokortin numerot ja NANP-puhelinnumerot. Tunnistimet muille kuin englanninkielisille kansallisille tunnistenumeroille ovat vähemmän tarkkoja. Niitä ylläpidetään vähemmän. Ne jättävät todelliset tunnisteet useammin huomaamatta.
EU:n jäsenvaltioissa toimiville yrityksille tämä luo kattavuusaukon. Työkalu raportoi, että tunnistus on täydellinen. Mutta muut kuin englanninkieliset tunnisteet jäävät tietoihin. Nämä ovat usein tunnisteet, joilla on suurin GDPR-altistus tietyissä maissa.
Tietosuojaviranomaiset näkevät tämän. Tilintarkastajat etsivät sitä. Työkalu saattaa toimia hyvin englanninkielisille tietueille. Mutta jos se epäonnistuu saksalaisissa tai ranskalaisissa tietueissa, se ei ole vaatimustenmukainen. Puhdas raportti ei muuta tätä.
Kansalliset tunnisteet eroavat rakenteeltaan
Ero englantikeskeisten ja monikielisten työkalujen välillä ei ole vain lisättyjen regex-mallien lisäämistä. EU:n kansalliset tunnisteet eroavat toisistaan merkittävästi. Asianmukainen tunnistus vaatii maakohtaista logiikkaa.
Saksan Steuer-Identifikationsnummer (Steuer-ID): 11 numeroa. Käyttää Luhn-algoritmin muunnokseen perustuvaa tarkistussummaa. Yleinen SSN-malli ei tunnista sitä. Minkä tahansa 11-numeroisen luvun malli tuottaa liian monta väärää positiivista saksalaisissa asiakirjoissa.
Ranskan NIR (Numéro d'inscription au répertoire): 15 numeroa. Muoto koodaa sukupuolen, syntymävuoden ja -kuukauden sekä departementin. Sisältää myös järjestysnumeron ja 2-numeroisen tarkistusavaimen. Asianmukainen tunnistus edellyttää tarkistusavaimen vahvistamista.
Ruotsin Personnummer: 10 numeroa Luhn-tarkistusnumerolla. Ennen vuotta 1990 syntyneet käyttävät erottimena - sijasta +. Tämä muuttaa tunnistettavaa muotoa.
Puolan PESEL: 11 numeroa. Koodaa syntymäajan, sukupuolen ja painotettuihin summiin perustuvan tarkistusnumeron. Asianmukainen tunnistus vaatii sekä muodon vastaavuuden että tarkistussumman vahvistamisen.
Kyse ei ole yhteisen mallin varianteista. Jokaisella on eri pituus. Jokaisella on eri vahvistusmenetelmä. Jokainen koodaa tiedot eri paikannusjärjestelmässä. Englanninkielisessä aineistossa koulutettu NER-malli, joka näkee ranskalaiseen NIR-numeron, ei tunnista sitä kansalliseksi tunnisteeksi. Se jättää sen huomiotta tai luokittelee sen väärin.
Käytännön vaatimustenmukaisuusriski
Kuvittele vaatimustenmukaisuuspäällikkö eurooppalaisessa BPO-yrityksessä. Hän käsittelee tietoja Saksasta, Ranskasta, Puolasta ja Alankomaista samanaikaisesti. Heidän työkalunsa raportoi onnistuneen henkilötietojen anonymisoinnin.
Mutta tulos ei ole täydellinen. Steuer-ID:t saksalaisissa tietueissa jäävät. NIR-numerot ranskalaisissa tietueissa jäävät. PESEL-numerot puolalaisissa tietueissa jäävät. Työkalun tunnistimet puuttuvat näille muodoille tai ovat liian epätarkkoja.
Tietoaineiston siirtäminen myöhemmin analytiikkaan tai tutkimuskumppanille jättää tiedot, joissa on edelleen uudelleentunnistettavia kansallisia tunnisteita. GDPR-ongelma ei näy työkalun lokissa. Se ilmenee, kun tietopyyntö saapuu. Se voi ilmetä tietosuojaviranomaisen tarkastuksessa. Se voi ilmetä tietovuodon jälkeen.
Tutkimus, joka vertaili hybridejä monikielisiä lähestymistapoja englantikeskeisiin työkaluihin, tuotti selkeitä tuloksia. Hybridimenetelmät saavuttavat F1-pisteet 0,60–0,83 EU-alueiden välillä. Vain englanninkieliset työkalut saavuttavat lähes nollan pisteet muille kuin englanninkielisille kansallisten tunnisteiden muodoille.
Katso GDPR-vaatimustenmukaisuuden yleiskatsauksemme siitä, miten nämä aukot kartoittuvat GDPR-velvollisuuksiin.
Mitä täydellinen kattavuus vaatii
Todellinen monikielinen henkilötietotunnistus EU:n GDPR-vaatimustenmukaisuudelle vaatii kolme kerrosta.
Kielinatiivit spaCy-mallit tarjoavat semanttisen ymmärryksen tekstin kielessä. Saksalaisessa tekstissä koulutettu malli tietää, että "Müller" on yleinen saksalainen sukunimi. Malleja on olemassa 25 korkeasti resursoituun EU-kieleen.
Stanza-NLP-mallit laajentavat kattavuuden kieliin, joita spaCy:ssä ei ole. Lisää ulottuvuutta useammille EU:n kieliyhteisöille.
Monikieliset transformer-mallit (XLM-RoBERTa) käsittelevät kieltenvälisiä tapauksia. Ranskankielisessä lauseessa oleva nimi tunnistetaan henkilönnimeksi. Tämä toimii, vaikka moottoria ei olisi koulutettu kyseisellä nimellä.
Regex maakohtaisella vahvistuksella kattaa rakenteelliset kansalliset tunnisteet. Steuer-ID, NIR, PESEL ja Personnummer tarvitsevat kukin oman tarkistussumman logiikkansa. Tämä vähentää väärän positiivisen tuloksia. Numeeriset sekvenssit, jotka eivät läpäise maan vahvistussääntöjä, suodatetaan pois.
Aukko on rakenteellinen. Sanakirjojen tai lisäregex-mallien lisääminen tuottaa vain marginaalista parannusta. Ainoa luotettava lähestymistapa on sisällyttää EU-tunnisteiden kattavuus alusta alkaen.
Tarkista nykyinen työkalusi
Pyydä toimittajaasi F1-pisteet saksalaisille, ranskalaisille, puolalaisille ja hollantilaisille tietueille. "Tukee useita kieliä" tarkoittaa usein, että työkalu käyttää ensin konekäännöstä. Se ei ole natiiviskannaus. GDPR-vaatimustenmukaisuus edellyttää natiivia skannausta.
Testaa todellisilla kansallisten tunnisteiden näytteillä. Luo lyhyt testiaineisto, jossa on 10 esimerkkiä kustakin toimintasi tunnistetyypistä. Steuer-ID, NIR, PESEL, Personnummer. Tarkista tunnistusnopeus. Se on nopeampaa kuin täydellinen F1-testi ja paljastaa aukot nopeasti.
Katso tietoturva- ja vaatimustenmukaisuussivultamme, miten anonym.legal vastaa näihin vaatimuksiin. Entiteettityyppien määritelmät löytyvät entiteettien viiteyhteenvedosta.