Višejezična detekcija osobnih podataka za GDPR
Ažurirano za 2026.
Skrivena GDPR praznina
GDPR nema jezičnu preferenciju. Članak 4(1) definira "osobne podatke" bez navođenja jezika u kojima se pojavljuju. Njemački Steuer-ID jednako je zaštićen kao američki broj socijalnog osiguranja. Francuski NIR jednako je reguliran kao britanski National Insurance broj.
Većina alata za detekciju osobnih podataka izgrađena je samo za engleski.
Istraživanje ACL 2024. pokazalo je da hibridni NLP alati dosežu F1 ocjene od 0,60–0,83 za europske lokalizacije. Alati samo za engleski postigu gotovo nulu za ne-engleske formate nacionalnih ID-ova. Jaz je izražen. Alat može uhvatiti 95% engleskih osobnih podataka. Ipak propušta 40–60% njemačkih, francuskih, poljskih ili nizozemskih osobnih podataka u istoj datoteci. To je ozbiljan problem. Ostavlja tvrtke izloženima.
Ovo je stvarna GDPR praznina. Pogađa gotovo svaku globalnu tvrtku koja koristi alate za redakciju orijentirane na engleski. Pogledajte naš GDPR vodič za više.
Zašto su osobni podaci lokalizacijski specifični
Detekcija osobnih podataka ima dva dijela.
Prvi je skeniranje na temelju uzoraka. Pokriva strukturirane ID-ove poput poreznih brojeva i telefonskih formata.
Drugi je skeniranje na temelju NER-a. Pokriva kontekstualne entitete poput imena i adresa.
Oba dijela ovise o lokalizaciji.
Strukturirani ID-ovi se razlikuju po zemlji
| Zemlja | Porezni ID | Format | Validacija |
|---|---|---|---|
| Njemačka | Steuer-ID | 11 znamenki | Modulo-11 |
| Francuska | NIR | 15 znamenki + 2-znamenkasti ključ | INSEE |
| Švedska | Personnummer | 10 znamenki | Luhn |
| Poljska | PESEL | 11 znamenki | Modulo-10 |
| Nizozemska | BSN | 9 znamenki | Elfproef |
| Španjolska | DNI/NIE | 8 znamenki + slovo | Modulo-23 |
| Italija | Codice Fiscale | 16 znakova | Prilagođena kontrolna suma |
Engleski regex za SSN-ove (NNN-NN-NNNN) neće odgovarati ni jednom od ovih formata. Svaki treba vlastiti regex. Svaki treba i vlastitu logiku kontrolne sume.
NER treba native modele
Njemačka imena se razlikuju od engleskih. "Hans-Dieter Müller" je jasan nativnom njemačkom modelu. Model obučen na engleskom često propušta takva imena.
Lažno pozitivni su također problem. Tracker grešaka Microsoft Presidia pokazuje da se njemačke riječi pogrešno klasificiraju kao engleski osobni podaci. Riječ "Null" (njemački za "nula") jedan je primjer. Pokreće lažne pogotke u modelima obučenim na engleskom. U produkcijskoj upotrebi, stope grešaka rastu do 3 lažno pozitivna po pravom entitetu (Alvaro et al., 2024).
Regulatorni rizik
EU tijela za zaštitu podataka svjesna su ovog problema. Nekoliko nacionalnih DPA-ova izdalo je smjernice.
Njemački BfDI: GDPR članak 5(1)(f) primjenjuje se na sve zapise. Pokriva ne-engleske podatke koje obrađuju alati trećih strana.
Francuski CNIL: Godišnje izvješće CNIL-a za 2024. izrazilo je zabrinutost. Istaknulo je AI alate koji rukuju francuskim zapisima bez skeniranja osobnih podataka za francusku lokalizaciju.
EU DPA-ovi općenito: GDPR članak 25 (Privatnost dizajnom) zahtijeva zaštitne mjere prikladne za stvarne zapise koji se obrađuju. Ovo uključuje ne-engleske osobne podatke u globalnim implementacijama.
Rizik je jasan. Tvrtka može pokazati 95% detekcije osobnih podataka na engleskom sadržaju u GDPR reviziji. Ali ako isti alat koristi i za njemačke, francuske i poljske zapise, pojavit će se praznine. Revizori to primjećuju. Kazne mogu uslijediti. Pogledajte našu stranicu o zaštitnim mjerama za to kako to rješavamo.
Trorazinski dizajn
Istraživanja i produkcijska upotreba slažu se na trorazinskom hibridnom dizajnu kao najboljim pristupom.
Razina 1: Nativni spaCy modeli
spaCy pruža obučene modele za 25 lokalizacija. To uključuje njemački, francuski, španjolski, portugalski, talijanski, nizozemski, ruski, kineski, japanski, korejski i poljski. Svaki model trenira na nativnom tekstu. Uče sintaksu i uzorke entiteta svake lokalizacije. Ovo je važno. Nativna obuka znači bolji odziv i manje lažno pozitivnih.
Za njemački: de_core_news_lg rukuje složenim imenicama i uzorcima njemačkih imena.
Za francuski: fr_core_news_lg rukuje francuskim entitetima, titulama, imenima mjesta i organizacijama.
Nativni modeli nadmašuju višejezične modele za skeniranje imena na lokalizacijama s visokim resursima.
Razina 2: Stanza za više lokalizacija
Stanzina biblioteka Stanforda pokriva lokalizacije kojih nema u spaCy-u. To uključuje hrvatski, slovenski i ukrajinski. Ovo dodaje doseg za EU govorne grupe kojima spaCy ne služi. Stanza je besplatna i otvorenog koda. Dobro se integrira s ostatkom skupa alata.
Razina 3: XLM-RoBERTa za širi doseg
Za lokalizacije u kojima spaCy i Stanza nemaju NER modele, XLM-RoBERTa popunjava prazninu. Trenira na Common Crawl tekstu kroz 100 lokalizacija. Postiže 91,4% višejezičnog F1 za detekciju osobnih podataka (HuggingFace 2024). Dobro rukuje prebacivanjem kodova. To je ključna značajka. Važna je kada jedan dokument sadrži tekst na nekoliko lokalizacija odjednom.
Posjetite dokumentaciju sustava tokena da vidite kako API pozivi skaliraju s višejezičnim volumenima.
Lokalizacijski specifične vrste entiteta
Sami modeli nisu dovoljni. GDPR usklađenost zahtijeva i opseg vrsta entiteta za ID-ove specifične za zemlju.
EU nacionalni ID-ovi po zemlji:
- DE: Steuer-ID, Sozialversicherungsnummer, Personalausweisnummer
- FR: NIR, SIREN, SIRET
- PL: PESEL, NIP, REGON
- NL: BSN
- SE: Personnummer, Samordningsnummer
- ES: DNI, NIE, NIF, CIF
- IT: Codice Fiscale, Partita IVA
Telefonski formati: Svaka EU zemlja ima jedinstvene strukture prefiksa. +49, +33 i +48 svaki trebaju vlastitu logiku validacije.
Formati adresa: Poštanski brojevi se uvelike razlikuju. Njemački PLZ koristi 5 znamenki. Francuski kodovi koriste 5 znamenki (raspon 01–99). Britanski poštanski kodovi su alfanumerički. Španjolski kodovi koriste 5 znamenki (01000–52999).
Stvarni slučaj: Švicarska farmaceutska tvrtka
Švicarska tvrtka obrađuje ugovore o radu. Svaki ugovor miješa njemački, francuski i engleski tekst. Švicarska ima četiri službena jezika. Njihov alat bio je postavljen samo za njemački. Propustio je sve osobne podatke u francuskim dijelovima.
Ugovor za zaposlenika sa sjedištem u Ženevi uključivao je francuski AVS broj (13 znamenki), švicarski bankarski IBAN i ime u francuskom formatu. Alat samo za njemački propustio je ime u francuskom formatu. Nije pronašao francuski AVS broj. Samo je djelomično otkrio IBAN.
Trorazinski pristup obrađuje cijeli dokument. Otkriva lokalizaciju po segmentu teksta. Primjenjuje pravi NER model za svaki dio. Validira svaki nacionalni ID s ispravnom logikom za tu zemlju.
Dokumenti s miješanim lokalizacijama
Najteži slučaj je miješanje lokalizacija unutar dokumenta. Primjeri:
- Engleski ugovor njemačke tvrtke s njemačkim zapisima zaposlenika (imena, porezni ID-ovi)
- Francuski GDPR obrazac za suglasnost s engleskim odlomkom o privatnosti
- Razgovor gdje agent odgovara na engleskom, a kupac piše na arapskom
XLM-RoBERTa ovo rukuje nativno. Nema potrebe za eksplicitnim oznakama lokalizacije. Obrađuje miješani lokalizacijski tekst bez prethodnog segmentiranja. Ovo štedi vrijeme. Izbjegava i greške od pogrešnih razdvajanja.
Za produkcijsku upotrebu, kombiniranje automatskog otkrivanja lokalizacije (na razini rečenice) s XLM-RoBERTa inferencijom daje robusno rukovanje dokumentima s miješanim lokalizacijama.
Praktični koraci
Revidirajte doseg vašeg alata. Pitajte vašeg dobavljača za redakciju za F1 ocjene za vaše specifične lokalizacije. "Podržava 20 jezika" često znači da alat usmjerava tekst kroz strojno prevođenje. To nije nativno skeniranje.
Mapirajte svoje zapise na lokalizacije. Napravite inventar zapisa koji uključuje distribuciju lokalizacija. Globalna tvrtka s 70% engleskog, 20% njemačkog i 10% francuskog suočava se s različitim rizicima. Ona s 95% engleskog je u drugačijoj poziciji.
Testirajte s uzorcima nacionalnih ID-ova. Izgradite testni skup s 10 primjera nacionalnih ID-ova u vašim operacijama — Steuer-ID, NIR, PESEL, BSN i drugima. Verificirajte stope detekcije. Ovo je brže od punog F1 testa.
Pregledajte svoja DPIA-a. Provjerite je li opseg lokalizacije uključen. Nepotpuna DPIA koja pretpostavlja samo engleske zapise može trebati ažuriranje. Djelujte sada. Ne čekajte da revizija otkrije prazninu.
Za potpune definicije vrsta entiteta, pogledajte referencu entiteta i FAQ. Za planove i stope API poziva, posjetite cijene.
anonym.legalov stroj za detekciju osobnih podataka koristi trorazinski višejezični pristup. Pokriva 25 lokalizacija visokih resursa putem nativnih spaCy modela. Stanza dodaje doseg za više lokalizacija. XLM-RoBERTa višejezični transformeri proširuju opseg na 48 lokalizacija. Vrste entiteta specifične za svaku EU državu članicu su uključene.