Японський My Number: APPI та перевірка Верхуффа
Японська Комісія із захисту персональних даних (PPC) прийняла 45 рішень про виконання норм у 2024 році. Вона також опублікувала перші в Японії рекомендації щодо конфіденційності ШІ. Дослідження PPC виявило, що 63% загальних інструментів NLP не виявляють My Number (マイナンバー) у японських файлах. Якщо ваша команда обробляє дані японських резидентів, ця прогалина означає прямий ризик за APPI.
Що таке My Number
Японія надає кожному резиденту унікальний 12-значний ідентифікатор. Це My Number, частина Системи індивідуальних номерів (マイナンバー制度). Він охоплює оподаткування, пенсії, медичне страхування та реагування на надзвичайні ситуації. Цей ідентифікатор є конфіденційними даними за APPI. Вам потрібна правова підстава для його збору або передачі.
Проблема перевірки Верхуффа
My Number використовує алгоритм Верхуффа для своєї контрольної цифри. Верхуфф — це математичний метод, що виявляє всі помилки в одній цифрі. Він також виявляє всі помилки, коли дві сусідні цифри міняються місцями. Для роботи він потребує трьох таблиць підстановки. Ви не можете обчислити його вручну. Він потребує коду.
Це важливо з двох причин. По-перше, 12-значний формат Японії схожий на багато інших кодів. Референсні номери рахунків, ідентифікатори документів та рядки дат — усі мають той самий формат. Без перевірки Верхуффа інструмент позначатиме неправильні значення. По-друге, більшість інструментів не використовують Верхуффа. Вони використовують простіші перевірки за модулем 10 або 11. Вони тут не підходять.
Дослідження PPC виявило, що 63% інструментів або пропускають перевірку, або використовують простіший метод. Обидві проблеми виникають одночасно: хибні спрацьовування та хибні відсутності.
Алгоритм Луна, що використовується для кредитних карток, простіший. My Number не використовує Луна. Інструменти, побудовані для Луна, тут не працюватимуть.
Три скрипти, одне ім'я
Японський текст одночасно використовує три системи письма. Інструмент повинен обробляти всі три.
Хірагана (ひらがな): Використовується для граматики та рідних слів. 46 базових символів.
Катакана (カタカナ): Використовується для іноземних слів та імен. 46 базових символів. Іноземні імена в Японії з'являються в цьому скрипті.
Кандзі (漢字): Символи для іменників та імен. Близько 2 000 є в загальному вжитку.
Ім'я однієї людини може з'являтися в чотирьох формах: кандзі (田中太郎), хірагана (たなかたろう), катакана (タナカ タロウ) та ромадзі (Tanaka Taro). Інструмент повинен відповідати всім чотирьом. Якщо він пропустить одну, він пропустить більшість записів про цю особу.
Інші японські ідентифікатори для виявлення
Водійське посвідчення (運転免許証番号): 12 цифр. Перші дві цифри показують префектуру. Токіо — 10. Осака — 62. Це дозволяє інструменту перевіряти, чи є значення дійсним для цього регіону.
Паспорт (旅券番号): Дві літери плюс сім цифр. Формат ICAO. Японія використовує специфічні пари літер.
Картка медичного страхування (健康保険証記号番号): Символ плюс номер. Формат залежить від страховика. Державне медичне страхування (国民健康保険) та Страхування, кероване суспільством (協会けんぽ), використовують різні формати.
Картка резидента (在留カード番号): Для іноземних резидентів. Дві літери, вісім цифр, дві літери. Цю картку видає Міністерство юстиції.
Правило анонімізації APPI
APPI має суворий стандарт анонімізованих даних, що називається анонімізованою інформацією (匿名加工情報). У ключовому аспекті він іде далі, ніж GDPR. Анонімізація повинна бути верифікована третьою стороною та технічно необоротною.
Для відповідності організація повинна:
- Видалити всі прямі ідентифікатори, включаючи My Number.
- Обробити всі комбінації квазі-ідентифікаторів.
- Використати k-анонімність або аналогічний метод.
- Опублікувати загальний опис виконаних кроків.
- Ніколи не намагатися повторно ідентифікувати дані.
Рекомендації PPC з ШІ 2024 року додають конкретне правило. Якщо ви навчаєте ШІ на анонімізованих даних, ви не можете використовувати цю модель для повторної ідентифікації людей. Це пряма заборона атак інверсії моделі проти навчальних наборів APPI.
Для відповідності стандартам PPC вам потрібні чотири речі. По-перше, перевірка Верхуффа для виявлення My Number. По-друге, японський NER з використанням ja_core_news з належною токенізацією. По-третє, відповідність імен у кандзі, кані та ромадзі. По-четверте, перевірки кодів префектур для водійських посвідчень.
Індія використовує Aadhaar, який також потребує перевірки Верхуффа. Технічний посібник з відповідності India DPDPA детально висвітлює це. Для виявлення ідентифікаторів кількох країн дивіться виявлення національних податкових ідентифікаторів ЄС за GDPR.