Tikai angļu valodas PII rīki: GDPR plaisa
GDPR nav valodas preferences
GDPR aptver personas datus jebkurā valodā. Vācu, franču, poļu, zviedru - visi ir vienlīdzīgi aptverti. Palaistā Steuer-ID rada tādu pašu juridisko risku kā palaistais Sociālās apdrošināšanas numurs. Likumam valoda nav svarīga.
Vairums PII detektēšanas rīku valodu gan ņem vērā.
Vadošie komerciālie un atvērtā pirmkoda rīki tika veidoti angļu valodas tekstiem. To entītiju detektori to atspoguļo. Tie labi aptver ASV Sociālās apdrošināšanas numurus, ASV vadītāja apliecības un NANP tālruņu formātus. Detektori citu valstu nacionālajiem ID ir mazāk precīzi. To uzturēšana ir retāka. Tie biežāk izlaiž reālus identifikatorus.
Eiropas Savienības dalībvalstu uzņēmumiem tas rada pārklājuma plaisu. Rīks ziņo, ka detektēšana ir pabeigta. Bet ne-angļu identifikatori paliek datos. Tie bieži ir identifikatori ar lielāko GDPR iedarbību noteiktās valstīs.
Datu iestādes to pamana. Revizori to meklē. Rīks var labi darboties ar angļu ierakstiem. Bet, ja tas neizdodas ar vācu vai franču ierakstiem, tas neatbilst prasībām. Tīrs ziņojums to nemaina.
Nacionālie ID atšķiras struktūrā
Plaisa starp angļu valodai orientētiem un daudzvalodu rīkiem nav par regex modeļu pievienošanu. ES nacionālie identifikatori ir ļoti atšķirīgi. Tiem nepieciešama valstij specifiska loģika pareizai detektēšanai.
Vācu Steuer-Identifikationsnummer (Steuer-ID): 11 cipari. Izmanto kontrolsummu, pamatojoties uz Lūna formulas variantu. Vispārējs SSN regex to neatradīs. Regex jebkuram 11 ciparu skaitlim vācu dokumentos rada pārāk daudz viltus pozitīvu rezultātu.
Franču NIR (Numero d'inscription au repertoire): 15 cipari. Formāts kodē dzimumu, dzimšanas gadu, dzimšanas mēnesi un dzimšanas departamentu. Tas ietver arī dzimšanas kārtas numuru un 2 ciparu kontrolatslēgu. Pareizai detektēšanai kontrolatslēga jāvalidē.
Zviedru Personnummer: 10 cipari ar Lūna kontrolciparu. Pirms 1990. gada dzimušie izmanto atdalītāju + nevis -. Tas maina formātu, kas jādetektē.
Poļu PESEL: 11 cipari. Kodē dzimšanas datumu, dzimumu un kontrolciparu, pamatojoties uz svērtām summām. Pareizai detektēšanai nepieciešama gan formāta atbilstība, gan kontrolsummas validācija.
Tie nav kopīga modeļa varianti. Katram ir atšķirīgs garums. Katrs izmanto atšķirīgu pārbaudes metodi. Katrs kodē datus citā pozīciju shēmā. Angļu valodai apmācīts NER modelis, saskaroties ar franču NIR, to neatpazīs kā nacionālo identifikatoru. Tas to ignorēs vai nepareizi klasificēs.
Praktiskais atbilstības risks
Iedomājieties atbilstības speciālistu Eiropas BPO uzņēmumā. Viņi vienlaikus apstrādā datus no Vācijas, Francijas, Polijas un Nīderlandes. Viņu rīks ziņo par veiksmīgu PII anonimizāciju.
Bet rezultāts nav pilnīgs. Steuer-ID vācu ierakstos paliek. NIR numuri franču ierakstos paliek. PESEL numuri poļu ierakstos paliek. Rīka detektori šiem formātiem nav pieejami vai ir pārāk neprecīzi.
Vēlāk datu kopa nonāk analītikā vai pētniecības partnerim. Datos joprojām ir re-identificējami nacionālie identifikatori. GDPR problēma neparādās rīka izvades žurnālos. Tā parādās, kad tiek saņemts datu subjekta pieprasījums. Tā var parādīties datu iestādes audita laikā. Tā var parādīties pēc datu pārkāpuma.
Pētījumi, kas salīdzina hibrīdās daudzvalodu pieejas ar angļu valodai centrētiem rīkiem, atklāja skaidrus rezultātus. Hibrīdās metodes sasniedz F1 rādītājus 0,60 līdz 0,83 visās Eiropas lokalizācijās. Tikai angļu valodas rīki sasniedz tuvu nullei ne-angļu nacionālo ID formātiem.
Skat. mūsu GDPR atbilstības pārskatu, kā šīs plaisa attiecas uz GDPR saistībām.
Ko prasa pilns pārklājums
Patiesai daudzvalodu PII detektēšanai ES GDPR atbilstībai nepieciešami trīs slāņi.
Valodai atbilstošie spaCy modeļi nodrošina semantisku izpratni teksta valodā. Vācu tekstam apmācīts modelis zina, ka "Muller" ir izplatīts vācu uzvārds. Modeļi pastāv 25 augsti resursu ES valodām.
Stanza NLP modeļi paplašina pārklājumu valodām, kuras nav spaCy. Tas palielina sasniedzamību citām ES valodu kopienām.
Starpvalodu transformatoru modeļi (XLM-RoBERTa) apstrādā starpvalodu gadījumus. Vārds franču teikumā tiek atpazīts kā personas vārds. Tas darbojas pat tad, ja dzinējs netika apmācīts uz šī konkrētā vārda.
Regex ar valstij specifisko validāciju aptver strukturētos nacionālos identifikatorus. Steuer-ID, NIR, PESEL un Personnummer katram nepieciešama sava kontrolsummas loģika. Tas samazina viltus pozitīvos rezultātus. Ciparu virknes, kas neizdodas valsts validācijas noteikumos, tiek izfiltrētas.
Plaisa ir strukturāla. Vārdu sarakstu vai papildu regex modeļu pievienošana dod tikai nelielu uzlabojumu. ES identifikatoru pārklājuma iebūvēšana no sākuma ir vienīgā uzticamā pieeja.
Pārbaudiet savu pašreizējo rīku
Jautājiet savam pārdevājam F1 rādītājus vācu, franču, poļu un holandiešu ierakstiem. "Atbalsta vairākas valodas" bieži nozīmē, ka rīks vispirms veic tulkošanu. Tas nav vietējā skenēšana. GDPR atbilstībai nepieciešama vietējā skenēšana.
Testējiet ar reāliem nacionālo ID paraugiem. Izveidojiet īsu testu kopu ar 10 katra ID tipa piemēriem jūsu darbībās. Steuer-ID, NIR, PESEL, Personnummer. Pārbaudiet detektēšanas rādītājus. Tas ir ātrāk par pilnu F1 testu un ātri parāda plaisu.
Skat. mūsu drošības un atbilstības lapu, kā anonym.legal risina šīs prasības. Entītiju tipa definīcijām apmeklējiet entītiju atsauci.