anonym.legal

By · Last updated 2026-03-03

Nazaj na blogGDPR in skladnost

Vecjezicno zaznavanje PII za GDPR

Nemski Steuer-ID, francoski NIR in svedski Personnummer zahtevajo razlicno logiko zaznavanja. Spoznajte, zakaj angleski modeli PII niso dovolj za skladnost GDPR.

March 3, 202610 min branja
multilingualGDPRNLPPII detectionEuropean compliancespaCyXLM-RoBERTa

Vecjezicno zaznavanje PII za GDPR

Posodobljeno za leto 2026

Skrita vrzel GDPR

GDPR nima jezikovnih preferenc. Clen 4(1) definira "osebne podatke" brez navajanja jezika, v katerem se pojavljajo. Nemški Steuer-ID je enako zasciten kot americanka stevilka socialnega zavarovanja. Francoski NIR je enako reguliran kot britanska stevilka nacionalnega zavarovanja.

Vecina orodij za zaznavanje PII je bila zgrajena samo za anglescino.

Raziskava ACL 2024 je ugotovila, da hibridna orodja NLP dosegajo vrednosti F1 0,60-0,83 za evropske lokale. Orodja, ki so samo za anglescino, dosegajo blizu nic za neangles ke formate nacionalnih ID-jev. Vrzel je ocitna. Orodje morda ujame 95 % anglescnega PII. Toda v isti datoteki zamudi 40-60 % nemskega, francoskega, poljskega ali nizozemskega PII. To je resen problem. Podjetja so izpostavljena.

To je prava vrzel GDPR. Prizadene skoraj vsako globalno podjetje, ki uporablja anglescino-centralna orodja za redakcijo. Oglejte si nas vodic GDPR za vec.

Zakaj je PII specificen za lokale

Zaznavanje PII ima dva dela.

Prvi je skeniranje na osnovi vzorcev. Pokriva strukturirane ID-je, kot so davcne stevilke in telefonski formati.

Drugi je skeniranje na osnovi NER. Pokriva kontekstualne entitete, kot so imena in naslovi.

Oba dela sta odvisna od lokalnega okolja.

Strukturirani ID-ji se razlikujejo po drzavah

DrzavaDavcni IDFormatValidacija
NemcijaSteuer-ID11 stevkModulo-11
FrancijaNIR15 stevk + 2-mestni kljucINSEE
SvedskaPersonnummer10 stevkLuhn
PoljskaPESEL11 stevkModulo-10
NizozemskaBSN9 stevkElfproef
SpanijaDNI/NIE8 stevk + crkaModulo-23
ItalijaCodice Fiscale16 znakovLastna kontrolna vsota

Angleska regex za SSN (NNN-NN-NNNN) ne bo ujela nobenega od teh formatov. Vsak potrebuje svojo regex. Vsak potrebuje tudi svojo logiko kontrolne vsote.

NER potrebuje domace modele

Nemska imena se razlikujejo od angleskih. "Hans-Dieter Muller" je jasno domacemu nemskemu modelu. Anglescini-usposobljen model pogosto zamudi taka imena.

Lazno-pozitivni rezultati so prav tako problem. Sledilnik tezav Microsoft Presidio kaze, da se nemske besede napacno razvrstijo kot angleska PII. Beseda "Null" (nemsko za "nic") je en primer. Sproziga lazne zadetke imen v anglesko-usposobljenih modelih. V produkcijski rabi se stopnje napak povecajo na 3 lazno-pozitivne na pravo entiteto (Alvaro et al., 2024).

Regulatorno tveganje

EU organi za varstvo podatkov se zavedajo tega problema. Veci nacionalnih organov DPA je izdalo smernice.

Nemski BfDI: Clen 5(1)(f) GDPR velja za vse zapise. Pokriva ne-angleske podatke, ki jih obdelujejo orodja tretjih strani.

Francoski CNIL: Letno porocilo CNIL za leto 2024 je izrazilo zaskrbljenost. Opozorilo je na orodja AI, ki obravnavajo francoske zapise brez skeniranja PII v francoskem lokalu.

EU DPA na splosno: Clen 25 GDPR (Zasebnost po nacrtovanju) zahteva varovala, primerna za dejansko obdelane zapise. To vkljucuje ne-angleske PII v globalnih uvedbah.

Tveganje je jasno. Firma moze pokazati 95 % zaznavanje PII na angleski vsebini pri reviziji GDPR. Ce pa obdeluje tudi nemske, francoske in poljske zapise z istim orodjem, se bodo pojavile vrzeli. Revizorji opazijo. Kazni lahko sledijo. Oglejte si naso stran o varovalih za naso resitev.

Trostopenjska zasnova

Raziskave in produkcijska uporaba se strinjajo o trostopenjski hibridni zasnovi kot najboljsem pristopu.

Stopnja 1: Domaci modeli spaCy

spaCy zagotavlja usposobljene modele za 25 lokalnih okolij. Ta vkljucujejo nemscino, francos cino, spanscino, portugals cino, italijansino, nizozemscino, ruscino, kitajscino, japonscino, korejscino in poljs cino. Vsak model se uci na domacih besedilih. Ucijo se sintaksne in entitetne vzorce vsakega lokalnega okolja. To je pomembno. Domace ucenje pomeni boljsi priklic in manj lazno-pozitivnih.

Za nemscino: de_core_news_lg obravnava sestavljene samostalnike in nemske vzorce imen. Za francos cino: fr_core_news_lg obravnava francoske entitete, nazive, zemljepisna imena in organizacije.

Domaci modeli premagajo medjezikovne modele za skeniranje imen v visoko-virovnih lokalnih okoljih.

Stopnja 2: Stanza za vec lokalnih okolij

Stanzina knjiznica Stanford pokriva lokalna okolja, ki niso v spaCy. Ta vkljucujejo hrnasino, slovenscino in ukrajinscino. To dodaja domet za EU-govorce, ki jih spaCy ne streze. Stanza je brezplacna in odprtokodna. Dobro se integrira z ostalo obutkvijo.

Stopnja 3: XLM-RoBERTa za sirokoSEG doseg

Za lokalna okolja, kjer spaCy in Stanza nimata modelov NER, XLM-RoBERTa zapolni vrzel. Uci se na besedilu Common Crawl v 100 lokalnih okoljih. Dosega 91,4-odstotni medjezikovni F1 za zaznavanje PII (HuggingFace 2024). Dobro obravnava preklop kode. To je kljucna funkcija. Pomembna je, ko en dokument vsebuje besedilo v vecih lokalnih okoljih hkrati.

Oglejte si naso dokumentacijo sistema znakov za prikaz skaliranja klicev API pri vecjezikovnih kolicinah.

Vrste entitet specificnih za lokalna okolja

Sami modeli ne zadostujejo. Usklajenost z GDPR zahteva tudi vrsto entitet za posamezne ID-je posameznih drzav.

Nacionalni ID-ji EU po drzavah:

  • DE: Steuer-ID, Sozialversicherungsnummer, Personalausweisnummer
  • FR: NIR, SIREN, SIRET
  • PL: PESEL, NIP, REGON
  • NL: BSN
  • SE: Personnummer, Samordningsnummer
  • ES: DNI, NIE, NIF, CIF
  • IT: Codice Fiscale, Partita IVA

Telefonski formati: Vsaka EU drzava ima edinstvene predponske strukture. +49, +33 in +48 vsak potrebuje svojo logiko validacije.

Formati naslovov: Postanske stevilke se mocno razlikujejo. Nemski PLZ uporablja 5 stevk. Francoski kodi uporabljajo 5 stevk (razpon 01-99). Britanske postanske stevilke so alfanumericne. Spanske kode uporabljajo 5 stevk (01000-52999).

Primer iz resnicnega sveta: svicarska farmacevtska firma

Svicarska firma obdeluje pogodbe o zaposlitvi. Vsaka pogodba mesа nemscino, francos cino in anglescino. Svicarska ima stiri uradne jezike. Njihovo orodje je bilo nastavljeno samo za nemscino. Zamudilo je vse PII v francoskih odsekih.

Pogodba za zaposlenca iz Zeneve je vsebovala francoski AVS stevilko (13 stevk), svicarski bancni IBAN in ime v francoskem formatu. Orodje, ki deluje samo z nemscino, je zamudilo ime v francoskem formatu. Ni naslo francoske stevilke AVS. IBAN je zaznan le delno.

Trostopenjski pristop obdela celoten dokument. Zaznava lokalno okolje na segment besedila. Za vsak del uporabi pravi model NER. Vsak nacionalni ID validira s pravilno logiko drzave.

Dokumenti z mesanimi lokalnimi okolji

Najtezji primer je mesanje lokalnih okolij znotraj dokumenta. Primeri:

  • Anglesca pogodba nemskega podjetja z nemskimi evidencami zaposlenih (imena, davcne ID-je)
  • Francoski obrazec za soglasje GDPR z anglescino-odlomkom o zasebnosti
  • Klepet, kjer se agent odziva v anglescini in stranka pise v arabscini

XLM-RoBERTa to obravnava domace. Ne potrebuje eksplicitnih zastavic lokalnih okolij. Obdeluje mesana-lokalna besedila brez predhodne segmentacije. To prihrani cas. Prav tako se izogiba napakam iz napacnih delitev.

Za produkcijsko uporabo kombinacija samodejnega zaznavanja lokalnega okolja (na ravni stavka) z sklepanjem XLM-RoBERTa zagotavlja robustno obravnavo dokumentov z mesanimi lokalnimi okolji.

Prakticni koraki

Revidirajte doseg vasega orodja. Prositezbijte prodajalca redakcije za vrednosti F1 za vasa specificna lokalna okolja. "Podpira 20 jezikov" pogosto pomeni, da orodje besedilo najprej usmerja prek strojnega prevajanja. To ni domace skeniranje.

Preslikajte zapise na lokalna okolja. Naredite inventar zapisov, ki vkljucuje porazdelitev lokalnih okolij. Globalno podjetje s 70 % anglescine, 20 % nemscine in 10 % francos cine se soci z razlicnimi tveganji. Tisto s 95 % anglescine je v drugacnem polozaju.

Testirajte z vzorci nacionalnih ID-jev. Zgradite testni nabor z 10 primeri nacionalnih ID-jev v vasem poslovanju -- Steuer-ID, NIR, PESEL, BSN in drugimi. Preverite stopnje zaznavanja. To je hitrejse kot polni test F1.

Preglejte svoje DPIA. Preverite, ali je obseg lokalnih okolij vkljucen. Nepopolna DPIA, ki predpostavlja samo-angleske zapise, bo morda potrebna posodobitev. Ukrepajte zdaj. Ne cakajte, da vrzel najde revizija.

Za polne definicije vrst entitet oglejte si referenco entitet in pogosta vprasanja. Za narocnine in stopnje klicev API obisc ite cene.

Sistem za zaznavanje PII anonym.legal uporablja trostopenjski vecjezicni pristop. Pokriva 25 visoko-virovnih lokalnih okolij prek domacih modelov spaCy. Stanza dodaja dodaten doseg lokalnih okolij. Medjezikovni transformerji XLM-RoBERTa razsirijo obseg na 48 lokalnih okolij. Vkljuceni so entitetni tipi, specificni za posamezno drzavo, za vse drzave clanice EU.

Viri

Sorodni članki

GDPR in skladnost

Japan My Number: Verhoeff & APPI

63% of generic tools fail My Number detection in Japanese documents. My Number uses Verhoeff algorithm — the most complex national ID checksum in Asia.

GDPR in skladnost

HDPA Greece: AFM & AMKA Detection

Greek AFM detected with 52% accuracy by generic tools. HDPA issued 89 decisions in 2024 — up 162% from 2022. Tourism and maritime sectors face distinct.

GDPR in skladnost

NAIH Hungary: TAJ-Szám and Adóazonosító Jel

Hungarian NER accuracy is 67% vs. EU average 82% — NAIH's 2024 assessment. TAJ-szám weighted checksum and adóazonosító jel detection gaps.

Ste pripravljeni zaščititi svoje podatke?

Začnite z anonimizacijo PII z več kot 285 tipi entitet v 48 jezikih.

Začnite brezplačno preizkušnjoOgled funkcij

About this page

We update this page when our platform or the law changes.

Read our founder note for how we work.

Each change shows up in the timestamp at the top.

Related reading

We follow these rules

  • GDPR (EU 2016/679).
  • ISO/IEC 27001:2022.
  • NIS2 (EU 2022/2555).
  • HIPAA safe harbor under 45 CFR § 164.514(b)(2).

Our promise

We do not sell your data.

We do not train models on your text.

We store your files in Germany.

You can delete your account at any time.

You own your work.

Where we run

Our servers live in Falkenstein, Germany.

We use Hetzner. They hold ISO 27001 certification.

All data stays in the EU.

Backups run every day.

Need help?

Email support@anonym.legal.

We reply within one business day.

How we test

We run a full check suite on every release.

Each surface gets its own sweep script and report.

Human reviewers spot-check the output each week.

We track recall and precision on a labelled set.

Bad runs block the deploy.

What we never do

  • We never sell your information to third parties.
  • We never train models on what you upload.
  • We never keep your work after you delete it.
  • We never share keys with any outside firm.
  • We never run ads inside the product.

Plans in plain words

We sell credits, not seats.

One credit covers one short job.

Long jobs use a few credits each.

You can top up at any time.

Unused credits roll over each month.

Read the plans page for current rates.

Who built this

A small team of engineers and lawyers built this.

We ship from Europe and work in the open.

Our founder note spells out why we started.

Where to start

How the parts fit

A browser add-on cleans text inside Chrome.

A Word plug-in handles drafts in Office.

A small desktop tool works on whole folders.

An agent protocol link feeds large models safely.

All four share one core engine and one rule set.

Words from our team

We started this work after a lunch about cookies.

One friend kept getting odd ads on her phone.

We asked why a court file leaked through a draft.

We sketched the first build on a napkin that week.

By month three we had a tiny demo for a friend.

She used it on her first case the next day.

Common questions we hear

Can the tool read scanned PDFs? Yes, with OCR.

Does it work on long files? Yes, in small chunks.

Can I roll my own rule set? Yes, save it as a preset.

Does it run offline? The desktop build runs offline.

Do you keep my files? No, the cloud build wipes after each run.

Will it learn from my work? No, we never train on inputs.

A short tour of the workflow

Upload a file or paste a snippet of prose.

Pick the entities you want gone from the draft.

Choose a method: replace, mask, hash, encrypt, or redact.

Press run and watch the side panel show each hit.

Skim the result and tweak any rule that misfired.

Save the cleaned file or send it to a teammate.