Japan My Number: APPI и проверката Verhoeff
Японската комисия за защита на личната информация (PPC) издаде 45 решения за прилагане на закона през 2024 г. Тя публикува и първите в Япония насоки за поверителност при изкуствен интелект. Проучване на PPC установи, че 63% от универсалните инструменти за NLP не успяват да засекат My Number (マイナンバー) в японски файлове. Ако вашият екип обработва данни на японски жители, тази пропаст означава директен риск по APPI.
Какво представлява My Number
Япония дава на всеки жител уникален 12-цифрен идентификатор. Това е My Number, част от Системата за индивидуален номер (マイナンバー制度). Той обхваща данъци, пенсии, здравно осигуряване и реагиране при бедствия. Този идентификатор представлява чувствителни данни по APPI. Необходимо е правно основание за събирането или споделянето му.
Проблемът с проверката Verhoeff
My Number използва алгоритъма Verhoeff за контролната си цифра. Verhoeff е математически метод, който открива всички еднозначни грешки. Той открива и всички грешки, при които две съседни цифри се разменят. За работа са нужни три справочни таблици. Не може да се изчисли на ръка. Изисква код.
Това е важно по две причини. Първо, японският 12-цифрен формат прилича на много други кодове. Референции за фактури, идентификатори на документи и низове за дати споделят един и същ формат. Без проверка по Verhoeff инструментът ще маркира грешни стойности. Второ, повечето инструменти не използват Verhoeff. Те използват по-прости проверки по модул 10 или модул 11. Те не работят тук.
Проучването на PPC установи, че 63% от инструментите или пропускат проверката, или използват по-прост метод. И двата проблема се появяват едновременно: фалшиви положителни и фалшиви отрицателни резултати.
Алгоритъмът Luhn, използван за кредитни карти, е по-прост. My Number не използва Luhn. Инструменти, изградени за Luhn, няма да работят.
Три писмени системи, едно име
Японският текст използва три писмени системи едновременно. Инструментът трябва да обработва и трите.
Хирагана (ひらがな): Използва се за граматика и родни думи. 46 основни знака.
Катакана (カタカナ): Използва се за чужди думи и имена. 46 основни знака. Чуждестранните имена в Япония се изписват с тази система.
Кандзи (漢字): Символи за съществителни и имена. Около 2 000 са в широка употреба.
Името на един човек може да се появи в четири форми: кандзи (田中太郎), хирагана (たなかたろう), катакана (タナカ タロウ) и романдзи (Tanaka Taro). Инструментът трябва да разпознава всичките четири. Ако пропусне едно, ще пропусне по-голямата част от записите за този човек.
Други японски идентификатори за засичане
Шофьорска книжка (運転免許証番号): 12 цифри. Първите две цифри показват префектурата. Токио е 10. Осака е 62. Това позволява на инструмента да провери дали стойността е валидна за дадения регион.
Паспорт (旅券番号): Две букви плюс седем цифри. Формат ICAO. Япония използва специфични двойки букви.
Карта за здравно осигуряване (健康保険証記号番号): Символ плюс номер. Форматът зависи от осигурителя. Националното здравно осигуряване (国民健康保険) и дружественото осигуряване (協会けんぽ) използват различни формати.
Карта за пребиваване (在留カード番号): За чуждестранни жители. Две букви, осем цифри, две букви. Картата се издава от Министерството на правосъдието.
Правилото за анонимизация по APPI
APPI има строг стандарт за анонимизирани данни, наречен анонимизирана информация (匿名加工情報). В един ключов аспект той надхвърля GDPR. Анонимизацията трябва да бъде верифицируема от трети страни и технически необратима.
За съответствие организацията трябва:
- Да премахне всички преки идентификатори, включително My Number.
- Да обработи всички комбинации от квазиидентификатори.
- Да използва k-анонимност или подобен метод.
- Да публикува общо описание на предприетите стъпки.
- Никога да не се опитва да реидентифицира данните.
Насоките за AI на PPC от 2024 г. добавят специфично правило. Ако обучавате AI на анонимизирани данни, не можете да използвате този модел за реидентификация на хора. Това е пряка забрана за атаки с инверсия на модела срещу обучителни масиви по APPI.
За да отговаряте на стандартите на PPC, са ви нужни четири неща. Първо, валидация по Verhoeff за засичане на My Number. Второ, японска NER чрез ja_core_news с правилна токенизация. Трето, съпоставяне на имена между кандзи, кана и романдзи. Четвърто, проверки на кодовете на префектурите за шофьорски книжки.
Индия използва Aadhaar, който също изисква валидация по Verhoeff. Ръководството за техническо съответствие с DPDPA Индия го разглежда в подробности. За засичане на идентификатори в множество държави вижте Засичане на национални данъчни идентификатори в ЕС по GDPR.