Анонимизация на данни за ML обучение съгласно GDPR

Един скрипт не е достатъчен

Всеки екип по data science е писал нещо подобно:

import re
def anonymize_email(text):
    return re.sub(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}', '[EMAIL]', text)

Това заменя имейл адресите. Само това. Наборът от данни все още съдържа имена, телефонни номера и медицински идентификатори. Той пак ще се провали при GDPR одит.

Разликата между "анонимизирах имейлите" и "този набор от данни е GDPR-съвместим" е голяма. Екипите я подценяват постоянно.

Защо GDPR ограничава ML обучението

Член 5(1)(б) от GDPR е ключовото правило. Той се нарича принцип за ограничаване на целта. Личните записи могат да се използват само за целта, за която са събрани.

Поръчките на клиенти са събрани за изпълнение на поръчки. Не за обучение на модел за препоръки. Здравните записи са събрани за лечение. Не за обучение на модел за прогнозиране на повторни хоспитализации. Отговорите на анкети са събрани за обратна връзка за продукта. Не за обучение на класификатор за настроение.

За да използва тези записи за ML обучение, екипът се нуждае от едно от три неща:

1. Изрично съгласие от всяко лице за ML целта -- трудно се получава, често невъзможно ретроактивно
2. Оценка на легитимен интерес, показваща, че ML употребата е съвместима -- правно несигурно, зависи от надзорния орган
3. Анонимизация -- замяна или премахване на лични детайли, така че наборът от данни да не е личен по смисъла на GDPR

Правилната анонимизация дава най-голяма правна сигурност. Предизвикателството е да се направи правилно всеки път.

Проблемът с еднократните скриптове

Екипите, които пишат нов Python скрипт за всеки набор от данни, създават натрупващи се проблеми.

Непълно покритие. Скрипт, изграден за една схема, пропуска нови полета. Колона с клинични бележки, добавена преди шест месеца? Не е в регулярния израз. Поле за второ собствено име? Скриптът обработва само шаблони за първо и фамилно.

Липса на последователност. Набор А е обработен с script_v1. Набор Б е използвал script_v3. Набор В е обработен от друг член на екипа. Обединеният набор за обучение има три различни приложени метода. Длъжностното лице по защита на данните не може да го сертифицира.

Без одитна следа. Скриптът е изпълнен. Какво е променил? Кои обекти са открити? Без записи за обработката съответствието е невъзможно. Когато одитор на надзорен орган попита "как знаете, че този набор за обучение е чист?", отговорът "изпълнихме Python скрипт" не е достатъчен.

Дрейф на модела. Шаблоните за регулярни изрази, работили през 2023 г., пропускат нови формати на идентификатори от 2024 г. Скриптовете не се актуализират сами.

Преглед на пакетна обработка

Екип по AI в здравеопазването трябва да анонимизира 8000 пациентски записа. Американският екип се нуждае от достъп от офис в ЕС. Прилага се Schrems II -- записи с произход от ЕС не могат да отидат в американска инфраструктура без подходящи гаранции.

Традиционен път: Инженерът по данни пише персонализиран скрипт. Два до три дни разработка. Един до два дни преглед от DPO. Един ден за итерации. Общо: четири до шест дни. ML проектът закъснява.

Път на пакетна обработка:

1. Експортиране на 8000 записа като CSV
2. Качване за пакетна обработка
3. Задаване на типове обекти: PERSON, EMAIL_ADDRESS, PHONE_NUMBER, US_SSN, MEDICAL_RECORD, DATE_OF_BIRTH, LOCATION
4. Избор на метод: Replace (замества реалистични синтетични стойности за запазване на структурата)
5. Обработка: 45 минути за 8000 записа
6. Изтегляне на чистия CSV
7. DPO преглежда метаданните за обработката -- открити обекти на запис, приложени методи: 2 часа
8. DPO одобрява. Прехвърлянето продължава.

Общо време: 45 минути плюс 2 часа преглед от DPO. Вместо четири до шест дни.

Вижте ръководството за обучителни данни по EU AI Act за начина, по който тези стъпки отговарят на задълженията по Член 10.

Replace срещу Redact за ML употреба

Методът на анонимизация има значение за качеството на модела.

Redact заменя лични данни с токен като [REDACTED]. Това работи за модели за разпознаване на лични данни. За други задачи -- настроение, класификация, препоръки -- вреди. Моделът се учи, че [REDACTED] е специален токен. Не може да се учи от естественото разпределение на имена и стойности.

Replace заменя "Иван Петров" с "Давид Чен". Заменя "ipetrov@company.com" с "dchen@synthetic.com". Структурата остава непокътната. Поставянето на обекти, съвместяването на шаблони, потокът на изреченията -- всичко е запазено. Моделът се учи от реалистичен контекст.

За ML набори за обучение Replace е правилният избор. Моделът не се учи от фалшивите стойности. Учи се от шаблоните около тях. Това е важното.

Schrems II и трансгранични прехвърляния

Решението по Schrems II (Съд на ЕС, 2020 г.) обезсили щита за поверителност между ЕС и САЩ. Записи с произход от ЕС не могат да отидат в американска ML инфраструктура -- AWS US-East, GCP US-Central -- без подходящи гаранции за прехвърляне.

Трите основни гаранции са:

• Стандартни договорни клаузи с оценка на въздействието върху прехвърлянето
• Обвързващи корпоративни правила за прехвърляния в рамките на корпоративна група
• Дерогация за анонимизирани записи -- правилно анонимизираните файлове вече не са лични по смисъла на GDPR и са освободени от правилата за прехвърляне

За екипи, използващи американска инфраструктура с набори с произход от ЕС, правилната анонимизация премахва проблема по Schrems II. Чистият набор от данни не е личен. Може да се движи свободно.

Това е едно от най-силните практически предимства на пакетната анонимизация. Тя прави повече от задоволяване на GDPR. Премахва трансграничното триене изцяло.

За повече информация относно ограниченията при прехвърляне вижте ръководството за ограничаване на целта по GDPR.

Какво да представите на DPO

При представяне на чист набор за обучение за одобрение от DPO включете тези пет точки:

1. Описание на източника. Какъв беше оригиналният набор от данни? Каква беше целта на събирането? Какви лични категории съдържаше?
2. Конфигурация на анонимизацията. Кои типове обекти са открити и заменени? Какъв метод е приложен?
3. Метаданни за обработката. Брой обекти на запис, резултати за доверие, общ брой обработени записи.
4. Оценка на остатъчния риск. Каква е вероятността дадено лице да бъде повторно идентифицирано? При анонимизация с метод Replace с 285+ типа обекти върху структуриран текст тази вероятност е много ниска.
5. Предназначена употреба. Кой модел ще бъде обучен? Каква е целта на обучението?

Пакетната обработка предоставя точки 2 и 3 автоматично. Точки 1, 4 и 5 идват от учения по данни.

Вижте пакетния API на anonym.legal за начина, по който метаданните за обработката се връщат с всяко задание.

Какво печелите

GDPR-съвместими ML набори са постижими без персонализирани скриптове, без многодневни закъснения и без загуба на качество на модела.

Методът Replace запазва свойствата на естествения език, важни за NLP обучение. Премахва личните детайли, които създават GDPR риск.

45 минути пакетна обработка е разликата между закъснял преглед за съответствие и директно одобрение от DPO.

Източници

• GDPR Членове 5, 9, 89: Ограничаване на целта, специални категории записи и изследователски предпазни мерки
• Съд на ЕС: Schrems II -- Прехвърляне от ЕС към САЩ
• Европейски комитет по защита на данните: Насоки относно ML и GDPR