Алатки за ЛЛИ само на англиски: Јазот во GDPR
GDPR нема јазична преференција
GDPR ги покрива личните податоци на кој било јазик. Германски, француски, полски, шведски - сите се покриени рамноправно. Пропуштен Steuer-ID создава ист правен ризик како и пропуштен американски број на социјално осигурување. Законот не го интересира јазикот.
Повеќето алатки за откривање ЛЛИ го интересира.
Водечките комерцијални и отворено-кодни алатки беа изградени за текст на англиски. Нивните детектори на ентитети го одразуваат ова. Тие добро ги покриваат американските броеви на социјално осигурување, американски возачки дозволи и NANP телефонски формати. Детекторите за национални документи за идентификација кои не се на англиски се помалку точни. Помалку се одржуваат. Почесто пропуштаат реални идентификатори.
За фирмите во државите-членки на ЕУ, ова создава јаз во покриеноста. Алатката вели дека откривањето е завршено. Но идентификаторите кои не се на англиски остануваат во податоците. Тоа честопати се идентификаторите со најголема GDPR-изложеност во одредени земји.
Органите за заштита на податоци го гледаат ова. Ревизорите го бараат. Алатката може да работи добро на записи на англиски. Но ако не успее на германски или француски записи, таа не е усогласена. Чистиот извештај не го менува тоа.
Националните документи за идентификација се разликуваат по структура
Јазот меѓу алатките центрирани на англиски и мултијазичните алатки не е прашање на додавање повеќе regex шаблони. Националните идентификатори на ЕУ се многу различни еден од друг. За правилно откривање им е потребна логика специфична за земјата.
Германски Steuer-Identifikationsnummer (Steuer-ID): 11 цифри. Користи контролна сума базирана на варијанта на Луновата формула. Генеричкото SSN regex нема да го совпадне. Regex за кој било 11-цифрен број создава премногу лажни позитиви во германски документи.
Француски NIR (Numero d'inscription au repertoire): 15 цифри. Форматот кодира пол, година на раѓање, месец на раѓање и оддел на раѓање. Содржи и редослед на раѓање и 2-цифрен контролен клуч. За правилно откривање мора да се валидира контролниот клуч.
Шведски Personnummer: 10 цифри со Лунова контролна цифра. Луѓе родени пред 1990 година користат сепаратор + наместо -. Тоа го менува форматот кој мора да се открие.
Полски PESEL: 11 цифри. Кодира датум на раѓање, пол и контролна цифра базирана на пондерирани суми. За правилно откривање е потребно и совпаѓање на форматот и валидација на контролната сума.
Тоа не се варијанти на заеднички шаблон. Секој има различна должина. Секој користи различен метод на проверка. Секој ги кодира податоците во различна позициска шема. Модел за NER обучен на англиски кој гледа француски NIR нема да го препознае како национален идентификатор. Ќе го игнорира или погрешно ќе го класифицира.
Практичниот ризик за усогласеност
Замислете офицер за усогласеност во европски BPO. Тие истовремено обработуваат податоци од Германија, Франција, Полска и Холандија. Нивната алатка пријавува успешна анонимизација на ЛЛИ.
Но резултатот не е комплетен. Steuer-ID во германски записи остануваат. NIR броеви во француски записи остануваат. PESEL броеви во полски записи остануваат. Детекторите на алатката за овие формати се отсутни или премалку точни.
По тоа, наборот на податоци оди на аналитика или на истражувачки партнер. Податоците сè уште содржат национални идентификатори кои можат повторно да идентификуваат. Проблемот со GDPR не се појавува во дневниците за излез на алатката. Се покажува кога ќе пристигне барање за пристап до личните податоци. Може да се покаже за време на ревизија на органот за заштита на податоци. Може да се покаже по повреда на податоците.
Истражувањата кои ги споредуваат хибридните мултијазични пристапи со алатките центрирани на англиски покажуваат јасни резултати. Хибридните методи постигнуваат F1 оценки од 0,60 до 0,83 во европски локали. Алатките само на англиски скорираат блиску до нула за формати на национален документ за идентификација кои не се на англиски.
Видете ја нашата Преглед на усогласеност со GDPR за тоа како овие јазови се поврзуваат со обврските на GDPR.
Што бара целосната покриеност
Вистинско мултијазично откривање ЛЛИ за усогласеност со GDPR на ЕУ бара три слоеви.
Матично-јазични spaCy модели обезбедуваат семантичко разбирање на јазикот на текстот. Модел обучен на германски текст знае дека "Muller" е вообичаено германско презиме. Постојат модели за 25 јазика со богати ресурси на ЕУ.
Stanza NLP модели ја прошируваат покриеноста на јазици кои не се во spaCy. Ова додава досег за повеќе јазични заедници на ЕУ.
Меѓујазични трансформерски модели (XLM-RoBERTa) ракуваат со меѓујазични случаи. Имиња во француска реченица се препознаваат како лични имиња. Ова работи дури и ако механизмот не бил обучен на тоа специфично име.
Regex со валидација специфична за земјата ги покрива структурираните национални идентификатори. Steuer-ID, NIR, PESEL и Personnummer секој бара своја сопствена логика за контролна сума. Ова ги намалува лажните позитиви. Низи на цифри кои не ги поминуваат правилата за валидација на земјата се филтрираат.
Јазот е структурен. Додавањето листи со зборови или повеќе regex шаблони дава само мало подобрување. Вградувањето покриеност на идентификаторите на ЕУ од самиот почеток е единствениот сигурен пристап.
Проверете ја вашата тековна алатка
Прашајте го вашиот добавувач за F1 оценки на германски, француски, полски и холандски записи. "Поддржува повеќе јазици" честопати значи дека алатката прво користи превод. Тоа не е матично скенирање. Усогласеноста со GDPR бара матично скенирање.
Тестирајте со реални примери на национален документ за идентификација. Изградете краток тест-сет со 10 примери од секој тип документ за идентификација во вашите операции. Steuer-ID, NIR, PESEL, Personnummer. Проверете ги стапките на откривање. Ова е побрзо од полн F1 тест и брзо покажува јазови.
Видете ја нашата страница за безбедност и усогласеност за тоа како anonym.legal ги адресира овие барања. За дефиниции на типовите ентитети, посетете ја референцата за ентитети.