Hizkuntza Anitzeko PII Detekzioa GDPRrako

2026rako eguneratua

GDPRk ez du hizkuntza-lehentasunik. 4(1) Artikuluak "datu pertsonala" agertzen den hizkuntza aipatu gabe definitzen du. Alemaniako Steuer-ID AEBetako Gizarte Segurantza-zenbakia bezain babestua dago. Frantziako NIR Erresuma Batuko Aseguru Nazionaleko zenbakia bezain arautua dago.

PII detekzio-tresna gehienak ingelesez soilik eraiki ziren.

ACL 2024ko ikerketa batek aurkitu zuen tresna hibridoek F1 puntuazioak lortzen dituztela Europako lokalen 0,60-0,83 artean. Ingelesa-soilik tresnetek ia zero puntuatzen dute ingeles ez diren nazio-ID formatuetarako. Aldea nabarmena da. Tresna batek ingeles PII-ren %95 harrapatu dezake. Hala ere, Alemaniako, Frantziako, Polonierako edo Holandako PII-ren %40-60 galtzen du fitxategi berean. Arazo larria da. Enpresak agerian uzten ditu.

Hau GDPR hutsune erreala da. Ia enpresa global guztiak eragiten ditu ingeles-zentriko erredakzio-tresnak erabiliz. Ikusi gure GDPR gida gehiago jakiteko.

Zergatik den PII Lokala

PII detekzioak bi zati ditu.

Lehenengoa eredu-oinarritutako skanerketa da. Honek egituratutako IDak estaltzen ditu, zerga-zenbakiak eta telefono-formatuak bezalakoak.

Bigarrena NER-oinarritutako skanerketa da. Honek izenak eta helbideak bezalako testuinguruko entitateak estaltzen ditu.

Bi atalak lokal menpe daude.

Egituratutako IDak Herrialdeen arabera Desberdintzen Dira

Herrialdea	Zerga IDa	Formatua	Baliozkotzea
Alemania	Steuer-ID	11 zifra	Modulo-11
Frantzia	NIR	15 zifra + 2 zifrako gakoa	INSEE
Suedia	Personnummer	10 zifra	Luhn
Polonia	PESEL	11 zifra	Modulo-10
Herbehereak	BSN	9 zifra	Elfproef
Espainia	DNI/NIE	8 zifra + letra	Modulo-23
Italia	Codice Fiscale	16 karaktere	Egiaztapen berezia

SSNen (NNN-NN-NNNN) ingelesa-soilik regex-ak ez du bat egingo formatu hauetako batekin. Bakoitzak bere regex behar du. Bakoitzak bere egiaztapen-logika ere behar du.

NERk Modelo Natiboak Behar Ditu

Alemaniako izenak ingelesa-etatik desberdinak dira. "Hans-Dieter Muller" izen-modelo natibo alemanarentzat argia da. Ingelesez trebatutako modeloa askotan galtzen du izen horiek.

Alderaino positiboak ere arazo bat dira. Microsoft Presidio-ren jarraipena erakusten du alemaniar hitzak ingeles PII gisa oker sailkatzen direla. "Null" hitza (Alemanez "zero" esan nahi duena) da adibide bat. Ingelesez trebatutako modeloetan izen-jo faltsu aktibazioak pizten ditu. Ekoizpeneko erabileran, akats-tasak 3 positibo faltsu per entitate erreala arte hedatzen dira (Alvaro et al., 2024).

Arauzko Arriskua

EBko datu-organoek arazo honen jakitun dira. Hainbat nazio DPA-k jarraibideak eman dituzte.

Alemaniako BfDI: GDPR 5(1)(f) Artikulua erregistro guztiei aplikatzen zaie. Hirugarren alderdien tresnek prozesatutako ez-ingelesa datura estaltzen da.

Frantziako CNIL: 2024ko CNIL Urteko Txostenak kezka eragin zuen. Frantziako erregistroak Frantziako-lokala PII skaneatze gabe tratatzen dituzten AI tresnak markatu zituen.

EU DPA-k oro har: GDPR 25. Artikulua (Diseinuz Pribatutasuna) prozesatzen ari diren erregistro errealak egoki diren babesak eskatzen ditu. Honek ez-ingelesa PII-a barne hartzen du mundu-mailako hedapenetan.

Arriskua argia da. Firma batek GDPR auditoria batean %95eko PII detekzioa erakutsi dezake ingeles edukian. Baina tresna berarekin Alemaniako, Frantziako eta Polonierako erregistroak tratatzen baditu ere, hutsuneak azalduko dira. Auditoretzaileek ohartzen dute. Isunak jarrai daitezke. Ikusi gure babes-orrialdea nola lantzen dugun hau.

Hiru Mailako Diseinua

Ikerketa eta ekoizpen-erabileraren onena hiru mailako diseinu hibrido gisa adosten da ikuspegirik onena gisa.

1. Maila: spaCy Modelo Natiboak

spaCy-k 25 lokaletarako trebatutako modeloak eskaintzen ditu. Hauek barne hartzen dituzte alemana, frantsesa, gaztelania, portugesa, italiera, nederlandera, errusiera, txinera, japonera, koreera eta poloniera. Modelo bakoitza testu natiboan trebatzen da. Lokal bakoitzaren sintaxia eta entitate-ereduak ikasten dituzte. Honek garrantzia du. Prestakuntza natiboak hitzarmen hobea eta positibo faltsu gutxiago esan nahi du.

Alemanerako: de_core_news_lg konposatu-izenak eta Alemaniako izen-ereduak tratatzen ditu. Frantsesarako: fr_core_news_lg Frantziako entitateak, tituluak, toki-izenak eta erakundeak tratatzen ditu.

Modelo natiboak hizkuntzen arteko modeloak gainditzen dituzte baliabide handiko lokaLen izenen skaneatze.

2. Maila: Stanza Lokal Gehiagotarako

Stanfordeko Stanza liburutegiak spaCy-n ez dauden lokalak estaltzen ditu. Horiek barne hartzen dituzte kroaziera, esloveniarra eta ukrainera. Honek EU hiztunen taldeentzako irismeneko laguntza gehitzen du spaCy-k zerbitzatzen ez dituenei. Stanza doakoa eta iturri irekia da. Pilaren gainerakoekin ondo integratzen da.

3. Maila: XLM-RoBERTa Irismen Zabalerako

spaCy-k eta Stanza-k NER modelorik ez dituzten lokaletarako, XLM-RoBERTa-k hutsunea betetzen du. 100 lokaletako Common Crawl testuan trebatzen da. PII detekziorako %91,4ko hizkuntzen arteko F1 lortzen du (HuggingFace 2024). Kode-aldaketa ondo tratatzen du. Funtsezko funtzio bat da. Garrantzia du dokumentu batek hainbat lokale aldi berean dituen testua duela garrantzitsua denean.

Bisitatu gure token sistema dokumentazioa ikusteko nola eskalatzen diren API deiak hizkuntza anitzeko bolumenarekin.

Lokala-Espezifikoak Diren Entitate Motak

Modeloak bakarrik ez dira nahikoa. GDPR lerrokatze-ak ere herrialde-espezifikako IDen entitate mota-eskopea eskatzen du.

EU Nazio IDak herrialdeen arabera:

DE: Steuer-ID, Sozialversicherungsnummer, Personalausweisnummer
FR: NIR, SIREN, SIRET
PL: PESEL, NIP, REGON
NL: BSN
SE: Personnummer, Samordningsnummer
ES: DNI, NIE, NIF, CIF
IT: Codice Fiscale, Partita IVA

Telefono-formatuak: EU herrialde bakoitzak aurrizki-egitura bereziak ditu. +49, +33 eta +48-k bakoitzak bere baliozkotzea-logika behar dute.

Helbide-formatuak: Posta-kodeak oso desberdinak dira. Alemaniako PLZ-k 5 zifra erabiltzen ditu. Frantziako kodeek 5 zifra erabiltzen dute (01-99 tartea). Erresuma Batuko posta-kodeak alfanumerikoak dira. Espainiako kodeak 5 zifra erabiltzen dute (01000-52999).

Mundu Errealeko Kasua: Suitzako Farmazia

Suitzako firma batek lan-kontratuak prozesatzen ditu. Kontratu bakoitzak alemanezko, frantseseko eta ingelesezkoa testu nahasten ditu. Suitzan lau hizkuntza ofizial daude. Haien tresna alemanezko soilik konfiguraturik zegoen. Frantziako ataleko PII guztia galdu zuen.

Genevako langile batentzako kontratuak Frantziako AVS zenbaki bat (13 zifra), Suitzako banku IBAN bat eta Frantziako formatuko izen bat zituen. Alemanezko-soilik tresnak Frantziako formatuko izena galdu zuen. Frantziako AVS zenbakia aurkitu ezin zuen. IBANa soilik partzialki hauteman zuen.

Hiru mailako ikuspegia dokumentu osoa prozesatzen du. Lokala testuaren segmentu bakoitzeko detektatzen du. NER modelo egokia aplikatzen du zati bakoitzeko. Herrialdeko ID bakoitza herrialde-logika zuzenarekin balioztatzen du.

Dokumentu Lokale Nahastuak

Kasu zailena dokumentu barneko lokale-nahasketa da. Adibideak:

Alemaniako langile-erregistroekin Alemaniako firmaaren ingelesezkoa kontratua (izenak, zerga IDak)
Ingelesezkoa pribatutasun-atala duen Frantziako GDPR baimena
Agente ingelesez erantzuten duen eta bezeroa arabieraz idazten duen elkarrizketa

XLM-RoBERTa-k hori natiboki tratatzen du. Ez du lokale-bandera espliziturik behar. Aurretiazko segmentaziorik gabe lokale nahastuak prozesatzen ditu. Honek denbora aurrezten du. Zatikatze oker detekzioetatik izandako akatsak ere saihestu egiten ditu.

Ekoizpen-erabilerako, auto lokale-detekzioa (esaldi-mailan) eta XLM-RoBERTa inferentziarekin konbinatuta, lokale-nahastea duten dokumentuak kudeatzeko tratamendu sendoa ematen du.

Urrats Praktikoak

Auditatu zure tresna-irismenaren. Galdetu zure erredakzio-saltzaileari F1 puntuazioak zure lokale espezifikoak. "20 hizkuntza onartzen ditugu" askotan tresna testua makina-itzulpenaren bidez bideratu esan nahi du lehendabizi. Hori ez da eskaneatze natiboa.

Mapatu zure erregistroak lokaleetara. Erregistro-inbentario bat egin lokale-banaketa barne. %70 ingelesa, %20 alemana eta %10 frantsesa duen mundu-mailako firma-batek arrisku desberdinak ditu. %95 ingelesa duenak posizioa desberdina du.

Probatu nazio-ID laginak. Eraiki proba-multzo bat zure eragiketetan erabilitako nazio-IDen 10 adibideekin -- Steuer-ID, NIR, PESEL, BSN eta besteak. Egiaztatu detekzio-tasak. Honek F1 proba oso baino azkarragoa da.

Berrikusi zure DPIAk. Egiaztatu lokale-eskapea barne hartzen den. Ingeles-soilik erregistroak suposatuz osatu gabeko DPIA batek eguneraketa behar dezake. Orain jardun. Ez itxaron auditoria batean hutsunea aurkitu arte.

Entitate mota definizio osoentzat, ikusi entitate erreferentzia eta FAQ. Planetarako eta API dei-tasentzat, bisitatu prezioak.

anonym.legal-en PII detekzio-motorrak hiru mailako hizkuntza anitzeko ikuspegia erabiltzen du. 25 baliabide handiko lokale estaltzen ditu spaCy modelo natiboen bidez. Stanza-k lokale-irismen gehigarria gehitzen du. XLM-RoBERTa hizkuntzen arteko transformerrak eskapea 48 lokaletara hedatzen dute. EU estatu kide guztietako herrialde-espezifikoko entitate motak barne hartzen dira.

Iturriak

Lotutako Artikuluak

GDPR & Betetze

Prest zure datuak babesteko?

Hasi PII anonimizatzen 285+ entitate mota 48 hizkuntzatan.

Hasi Probako Bertsioa Ikusi Ezaugarriak

Hizkuntza Anitzeko PII Detekzioa GDPRrako