Інструменти PII лише для англійської: прогалина GDPR
GDPR не має мовних уподобань
GDPR охоплює персональні дані будь-якою мовою. Німецькою, французькою, польською, шведською — всі вони охоплені однаково. Пропущений Steuer-ID створює такий само правовий ризик, як і пропущений номер соціального страхування. Закон не зважає на мову.
Більшість інструментів виявлення PII — зважають.
Провідні комерційні та відкриті інструменти були розроблені для англійського тексту. Їхні детектори сутностей відображають це. Вони добре покривають американські номери соціального страхування, американські водійські посвідчення та формати телефонних номерів NANP. Детектори для неанглійських національних ідентифікаторів менш точні. Вони гірше підтримуються. Вони частіше пропускають реальні ідентифікатори.
Для компаній у країнах — членах ЄС це створює прогалину у покритті. Інструмент повідомляє, що виявлення завершено. Але неанглійські ідентифікатори залишаються в даних. Це часто саме ті ідентифікатори, що мають найбільше GDPR-навантаження в певних країнах.
Наглядові органи це помічають. Аудитори шукають це. Інструмент може добре працювати з англійськими записами. Але якщо він не справляється з німецькими чи французькими записами, він не є відповідним. Чистий звіт цього не змінює.
Національні ідентифікатори відрізняються за структурою
Розрив між інструментами, орієнтованими на англійську, та багатомовними інструментами полягає не в додаванні більше шаблонів регулярних виразів. Національні ідентифікатори ЄС дуже відрізняються один від одного. Для їх правильного виявлення потрібна логіка, специфічна для кожної країни.
Ідентифікаційний номер платника податків Німеччини (Steuer-ID): 11 цифр. Використовує контрольну суму на основі варіанту формули Луна. Загальний регулярний вираз для SSN його не знайде. Регулярний вираз для будь-якого 11-значного числа дасть забагато хибних спрацьовувань у німецьких документах.
Французький NIR (Numéro d'inscription au répertoire): 15 цифр. Формат кодує стать, рік народження, місяць народження та департамент народження. Також включає порядковий номер народження і двоцифровий контрольний ключ. Для правильного виявлення контрольний ключ має бути перевірений.
Шведський Personnummer: 10 цифр із контрольною цифрою Луна. Люди, народжені до 1990 року, використовують роздільник + замість -. Це змінює формат, який необхідно виявляти.
Польський PESEL: 11 цифр. Кодує дату народження, стать і контрольну цифру на основі зважених сум. Для правильного виявлення потрібна як перевірка формату, так і перевірка контрольної суми.
Це не варіанти спільного шаблону. Кожен має різну довжину. Кожен використовує різний метод перевірки. Кожен кодує дані за різною схемою позицій. Модель NER, навчена на англійській мові, побачивши французький NIR, не розпізнає його як національний ідентифікатор. Вона проігнорує його або неправильно класифікує.
Практичний ризик для відповідності вимогам
Уявіть офіцера з відповідності в європейській BPO-компанії. Вони обробляють дані з Німеччини, Франції, Польщі та Нідерландів одночасно. Їхній інструмент звітує про успішну анонімізацію PII.
Але результат неповний. Steuer-ID у німецьких записах залишається. Номери NIR у французьких записах залишаються. Номери PESEL у польських записах залишаються. Детектори інструменту для цих форматів відсутні або недостатньо точні.
Пізніше набір даних надходить до аналітики або до дослідницького партнера. Дані все ще містять ідентифіковані національні ідентифікатори. Проблема GDPR не з'являється у вихідних журналах інструменту. Вона виникає, коли надходить запит суб'єкта даних на доступ. Вона може виникнути під час аудиту наглядового органу з питань даних. Вона може виникнути після витоку даних.
Дослідження, що порівнюють гібридні багатомовні підходи з інструментами, орієнтованими на англійську мову, дали чіткі результати. Гібридні методи досягають показників F1 від 0,60 до 0,83 для різних локалей ЄС. Інструменти лише для англійської мови майже не набирають балів для неанглійських форматів національних ідентифікаторів.
Дивіться наш огляд відповідності GDPR, щоб дізнатися, як ці прогалини відображаються на зобов'язаннях GDPR.
Що потрібно для повного покриття
Справжнє багатомовне виявлення PII для відповідності GDPR ЄС потребує трьох рівнів.
Моделі spaCy для рідної мови забезпечують семантичне розуміння тексту мовою оригіналу. Модель, навчена на німецькому тексті, знає, що «Мюллер» — поширене німецьке прізвище. Моделі існують для 25 мов ЄС із великим обсягом ресурсів.
Моделі Stanza NLP розширюють покриття на мови, відсутні в spaCy. Це додає можливості для більшого числа мовних спільнот ЄС.
Крос-мовні трансформерні моделі (XLM-RoBERTa) обробляють міжмовні випадки. Ім'я у французькому реченні розпізнається як ім'я особи. Це працює навіть якщо система не була навчена на конкретному імені.
Регулярні вирази з перевіркою, специфічною для кожної країни покривають структуровані національні ідентифікатори. Steuer-ID, NIR, PESEL та Personnummer — кожен потребує власної логіки контрольної суми. Це скорочує хибні спрацьовування. Послідовності цифр, що не проходять правила перевірки конкретної країни, відфільтровуються.
Розрив є структурним. Додавання списків слів або більше шаблонів регулярних виразів дає лише незначне покращення. Єдиним надійним підходом є вбудовування покриття ідентифікаторів ЄС із самого початку.
Перевірте свій поточний інструмент
Запитайте у свого постачальника показники F1 для німецьких, французьких, польських і нідерландських записів. «Підтримує кілька мов» часто означає, що інструмент спочатку використовує переклад. Це не нативне сканування. Відповідність GDPR вимагає нативного сканування.
Перевірте за допомогою реальних зразків національних ідентифікаторів. Складіть короткий тестовий набір із 10 прикладів кожного типу ідентифікатора у вашій роботі. Steuer-ID, NIR, PESEL, Personnummer. Перевірте рівень виявлення. Це швидше, ніж повний тест F1, і показує прогалини швидко.
Дивіться нашу сторінку безпеки та відповідності, щоб дізнатися, як anonym.legal відповідає цим вимогам. Для визначень типів сутностей відвідайте довідник сутностей.