Alati za otkrivanje PII samo na engleskom: praznina u GDPR-u
GDPR nema jezičnih preferencija
GDPR pokriva osobne podatke na bilo kojem jeziku. Njemački, francuski, poljski, švedski — svi su pokriveni ravnopravno. Propušteni Steuer-ID stvara isti pravni rizik kao propušteni američki SSN. Zakon ne mari za jezik.
Većina alata za otkrivanje PII-a mari.
Vodeći komercijalni i open-source alati izgrađeni su za engleski tekst. Njihovi detektori entiteta to odražavaju. Dobro pokrivaju američke Social Security Numbers, američke vozačke dozvole i NANP formate telefona. Detektori za ne-engleske nacionalne identifikatore manje su točni. Manje se održavaju. Češće propuštaju stvarne identifikatore.
Za tvrtke u državama EU, to stvara prazninu u pokrivenosti. Alat tvrdi da je otkrivanje potpuno. No ne-engleski identifikatori ostaju u podacima. To su često identifikatori s najvećom GDPR izloženošću u određenim zemljama.
Nadzorna tijela za zaštitu podataka to vide. Revizori to traže. Alat može dobro raditi na engleskim zapisima. No ako ne radi na njemačkim ili francuskim zapisima, nije usklađen. Čist izvještaj to ne mijenja.
Nacionalni identifikatori razlikuju se po strukturi
Jaz između alata usmjerenih na engleski i višejezičnih alata nije pitanje dodavanja više regex obrazaca. EU nacionalni identifikatori međusobno se jako razlikuju. Svaki zahtijeva logiku specifičnu za zemlju kako bi bio ispravno otkriven.
Njemački Steuer-Identifikationsnummer (Steuer-ID): 11 znamenki. Koristi kontrolnu sumu temeljenu na varijanti Luhn formule. Generički SSN regex neće ga prepoznati. Regex za bilo koji 11-znamenkasti broj stvara previše lažno pozitivnih rezultata u njemačkim dokumentima.
Francuski NIR (Numéro d'inscription au répertoire): 15 znamenki. Format kodira spol, godinu i mjesec rođenja te odjel rođenja. Uključuje i redni broj i 2-znamenkastu kontrolnu ključ. Kontrolni ključ mora biti validiran za ispravno otkrivanje.
Švedski Personnummer: 10 znamenki s Luhn kontrolnom znamenkom. Osobe rođene prije 1990. koriste separator + umjesto -. To mijenja format koji treba otkriti.
Poljski PESEL: 11 znamenki. Kodira datum rođenja, spol i kontrolnu znamenku temeljenu na ponderiranim sumama. Ispravno otkrivanje zahtijeva i podudaranje formata i validaciju kontrolne sume.
Ovo nisu varijante zajedničkog obrasca. Svaki ima drugu duljinu. Svaki koristi drugu metodu provjere. Svaki kodira podatke u drugačijoj shemi pozicija. NER model treniran na engleskom koji vidi francuski NIR neće ga prepoznati kao nacionalni identifikator. Ignorirati će ga ili pogrešno klasificirati.
Praktični rizik za usklađenost
Zamislite službenika za usklađenost u europskom BPO-u. Istovremeno obrađuje podatke iz Njemačke, Francuske, Poljske i Nizozemske. Alat izvještava o uspješnoj anonimizaciji PII-a.
No rezultat nije potpun. Steuer-ID-ovi u njemačkim zapisima ostaju. NIR brojevi u francuskim zapisima ostaju. PESEL brojevi u poljskim zapisima ostaju. Detektori alata za te formate su odsutni ili premalo točni.
Kasnije, skup podataka odlazi u analitiku ili istraživačkom partneru. Podaci još uvijek sadrže re-identifikabilne nacionalne identifikatore. Problem s GDPR-om ne pojavljuje se u izlaznim zapisnicima alata. Pojavljuje se kada pristignu zahtjevi za pristup podacima ispitanika. Može se pojaviti tijekom revizije nadzornog tijela. Može se pojaviti nakon povrede podataka.
Istraživanje koje uspoređuje hibridne višejezične pristupe s alatima usmjerenim na engleski pokazalo je jasne rezultate. Hibridne metode postižu F1 ocjene od 0,60 do 0,83 za europske lokalizacije. Alati samo na engleskom ocjenjuju se blizu nule za ne-engleske formate nacionalnih ID-ova.
Pogledajte naš pregled GDPR usklađenosti za to kako se te praznine mapiraju na GDPR obveze.
Što zahtijeva potpuna pokrivenost
Istinsko višejezično otkrivanje PII-a za usklađenost s EU GDPR-om zahtijeva tri sloja.
spaCy modeli nativni za jezik pružaju semantičko razumijevanje u jeziku teksta. Model treniran na njemačkom tekstu zna da je "Müller" uobičajeno njemačko prezime. Modeli postoje za 25 visokoresursnih EU jezika.
Stanza NLP modeli proširuju pokrivenost na jezike koji nisu u spaCy-u. To dodaje doseg za više EU jezičnih zajednica.
Višejezični transformer modeli (XLM-RoBERTa) obrađuju međujezične slučajeve. Ime u francuskoj rečenici prepoznaje se kao ime osobe. To funkcionira čak i ako motor nije treniran na tom specifičnom imenu.
Regex s validacijom specifičnom za zemlju pokriva strukturirane nacionalne identifikatore. Steuer-ID, NIR, PESEL i Personnummer svaki zahtijevaju vlastitu logiku kontrolne sume. To smanjuje lažno pozitivne rezultate. Nizovi znamenki koji ne prođu pravila validacije za zemlju su filtrirani.
Jaz je strukturan. Dodavanje popisa riječi ili više regex obrazaca donosi samo manja poboljšanja. Jedini pouzdan pristup je ugradnja pokrivenosti EU identifikatora od samog početka.
Provjerite svoj trenutni alat
Tražite od svog dobavljača F1 ocjene za njemačke, francuske, poljske i nizozemske zapise. "Podržava više jezika" često znači da alat prvo koristi prijevod. To nije izvorno skeniranje. GDPR usklađenost zahtijeva izvorno skeniranje.
Testirajte sa stvarnim uzorcima nacionalnih ID-ova. Izradite kratki testni skup s 10 primjera svakog tipa ID-a u vašim operacijama. Steuer-ID, NIR, PESEL, Personnummer. Provjerite stope otkrivanja. Ovo je brže od punog F1 testa i brzo pokazuje praznine.
Pogledajte našu stranicu o sigurnosti i usklađenosti za to kako anonym.legal rješava ove zahtjeve. Za definicije vrsta entiteta, posjetite referencu entiteta.