Nástroje PII iba v anglictine: medzera GDPR
GDPR nemá jazykovú preferenciu
GDPR pokryvá osobné údaje v akomkolvek jazyku. Nemcina, francúzstina, polstina, svédcina - vsetky su pokryté rovnako. Chybajúci Steuer-ID vytvára rovnaké právne riziko ako chybajúce rodné císlo v USA. Zákon sa nezaujíma o jazyk.
Väcsina nástrojov na detekciu PII áno.
Popredné komerené a open-source nástroje boli postavené pre anglický text. Ich detektory entít to odrázajú. Dobre pokryvajú americké rodné císla (SSN), americké ridicsé preukazy a telefónne formáty NANP. Detektory pre neanglojazyné národné ID su menej presné. Su menej dobre udrzované. Castejsie prehliadajú skutocné identifikátory.
Pre firmy v celej EU to vytvára medzeru v pokrytí. Nástroj hlási, ze detekcia je úplná. Ale neanglojazyné identifikátory zostávaju v dátach. Toto su casto identifikátory s najväcším vystavením GDPR v urcitych krajinách.
Dátové orgány to vidia. Audítori to hladaju. Nástroj moze dobre fungovat na anglicskych záznamoch. Ale ak zlyháva na nemeckych alebo francúzskych záznamoch, nie je v súlade. Cisty správa to nezmení.
Národné ID sa lísia struktúrou
Medzera medzi nástrojmi zameranymi na anglictinu a viacjazyznymi nástrojmi nie je o pridavaní dalšich vzorcov regex. Národné identifikátory EÚ sa navzájom velmi odlisujú. Potrebuju logiku špecifickú pre krajinu, aby boli správne detekované.
Nemecká Steuer-Identifikationsnummer (Steuer-ID): 11 cifier. Pouzíva súcet zalozeny na variante Luhnovho vzorca. Vseobecny regex SSN ju nezachytí. Regex pre akékovek 11-ciferné cislo vytvára prílis vela faloányh pozitív v nemeckych dokumentoch.
Francúzske NIR (Numéro d'inscription au répertoire): 15 cifier. Formát kóduje pohlavie, rok narodenia, mesiac narodenia a departement narodenia. Zahŕna aj poradie narodenia a 2-ciferny kontrolny kluc. Kontrolny kluc musí byt overeny pre správnu detekciu.
Svedské Personnummer: 10 cifier s Luhnovym kontrolnym cifrom. Osoby narodené pred rokom 1990 pouzívajú oddelovac + namiesto -. To mení formát, ktory musí byt detekovaný.
Polské PESEL: 11 cifier. Kóduje dátum narodenia, pohlavie a kontrolne cislo zalozené na vázovaných sumách. Správna detekcia vyzaduje ako zhodu formátu, tak aj overenie súctu.
Toto nie su varianty spolocného vzorca. Kazdy má inú dlzku. Kazdy pouzíva inú metodu kontroly. Kazdy kóduje dáta v inom schéme pozícií. Anglicky trénovaný model NER, ktory uvidí francúzsky NIR, ho nerozozná ako národný identifikátor. Ignoruje ho alebo ho nespravne klasifikuje.
Prakticke riziko súladu
Zvázte súlad s predpismi v európskom BPO. Spracúvaju dáta z Nemecka, Francúzska, Polska a Holandska naraz. Ich nástroj hlási úspesnu anonymizáciu PII.
Ale výsledok nie je úplny. Steuer-ID v nemeckych záznamoch zostávajú. Císla NIR vo francúzskych záznamoch zostávajú. Císla PESEL v polskych záznamoch zostávajú. Detektory nástroja pre tieto formáty chybajú alebo su prílis nepresné.
Neskôr databáza smeruje do analytiky alebo k vyzskumnému partnerovi. Dáta stále obsahujú re-identifikovatelné národné identifikátory. Problém GDPR sa neobjaví v protokoloch výstupu nástroja. Vynoí sa, ked príde ziadost o prístup dotknutej osoby. Moze sa objavit pocas auditu dátového orgánu. Moze sa objavit po narusení dát.
Vyskum porovnávajúci hybridné viacjazyné prístupy s nástrojmi zameranymi na anglictinu priniesol jasné výsledky. Hybridné metódy dosahujú F1 skóre 0,60 az 0,83 napriec európskymi lokalitami. Nástroje iba v anglictine dosahujú hodnoty blízke nule pre formáty národných ID v inych jazykoch.
Pozrite si nás prehlad súladu s GDPR, kde sa dozviete, ako tieto medzery mapujú na povinnosti GDPR.
Co vyzaduje úplné pokrytie
Skutocná viacjazyná detekcia PII pre súlad s GDPR EU potrebuje tri vrstvy.
Modely spaCy špecifické pre jazyk poskytujú semanticke porozumenie v jazyku textu. Model trénovaný na nemeckom texte vie, ze "Müller" je bezné nemecké priezvisko. Modely existujú pre 25 vysokozdrojovych jazykov EU.
Modely NLP Stanza rozsirujú pokrytie na jazyky, ktore nie su v spaCy. To pridáva dosah pre viac jazykových komunít EU.
Viacjazyné transformacné modely (XLM-RoBERTa) riesia viacjazyné prípady. Meno vo francúzskej vete je rozoznané ako osobné meno. Funguje to aj ked motor nebol trénovaný na tomto konkrétnom mene.
Regex s overovaním špecifickym pre krajinu pokryvá struktúrované národné identifikátory. Steuer-ID, NIR, PESEL a Personnummer potrebujú vlastnú logiku súctu. To znizuje falosné pozitívne výsledky. Ciferné sekvencie, ktore zlyhajú v pravidlách overenia krajiny, su vyfiltrované.
Medzera je struktúrna. Pridávanie zoznamov slov alebo dalšich vzorcov regex prináša iba malé zlepsenie. Zabudovanie pokrytia identifikátorov EU od zaciatku je jedinym spolahlivym prístupom.
Skontrolujte svôj aktuálny nástroj
Opytajte sa svojho dodavatela na F1 skóre pre nemecké, francúzske, poiske a holandské záznamy. "Podporuje viacero jazykov" casto znamená, ze nástroj najprv pouzíva preklad. To nie je natívne skenovanie. Súlad s GDPR vyzaduje natívne skenovanie.
Testujte so skutocnymi vzorkami národného ID. Vytvorte krátku testovaciu sadu s 10 príkladmi kazdeho typu ID vo vasich operáciách. Steuer-ID, NIR, PESEL, Personnummer. Skontrolujte miery detekcie. Je to rychlejsie ako úplny test F1 a rychlo ukazuje medzery.
Pozrite si nasu stranu bezpecnosti a súladu, kde sa dozviete, ako anonym.legal rieši tieto poziadavky. Pre definície typov entít navstívte referenciu entít.