GDPR atbilstoša ML apmācības datu anonimizācija

Viens skripts nav pietiekams

Katra datu zinātnes komanda kādreiz ir uzrakstījusi ko līdzīgu:

import re
def anonymize_email(text):
    return re.sub(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}', '[EMAIL]', text)

Šis aizstāj e-pasta adreses. Tas ir viss, ko tas dara. Datu kopā joprojām ir vārdi, tālruņa numuri un medicīniskie ID. Tas joprojām neizdos GDPR revīziju.

Atšķirība starp "es anonimizēju e-pastus" un "šī datu kopa ir GDPR atbilstoša" ir liela. Komandas to pastāvīgi nenovērtē par zemu.

Kāpēc GDPR ierobežo ML apmācības izmantošanu

GDPR 5. panta 1. punkta b) apakšpunkts ir galvenais noteikums. To sauc par mērķa ierobežošanas principu. Personas ierakstus drīkst izmantot tikai tam mērķim, kuram tie tika savākti.

Klientu pasūtījumi tika savākti pasūtījumu izpildei. Ne ieteikumu modeļa apmācībai. Veselības dati tika savākti ārstēšanai. Ne uzņemšanas modeļa apmācībai. Aptaujas atbildes tika savāktas produkta atsauksmēm. Ne sentimenta klasifikatora apmācībai.

Lai izmantotu šos ierakstus ML apmācībai, komandai vajadzīga viena no trim lietām:

1. Katras personas nepārprotama piekrišana ML mērķim — grūti iegūt, bieži vien retroaktīvi neiespējami
2. Likumīgo interešu novērtējums, kas parāda ML izmantošanas atbilstību — juridiski neskaidrs, atkarīgs no DPA
3. Anonimizācija — personas datu aizstāšana vai noņemšana, lai datu kopa vairs nebūtu personiska saskaņā ar GDPR

Pareiza anonimizācija sniedz vislielāko juridisko noteiktību. Izaicinājums ir to darīt pareizi katru reizi.

Problēma ar vienreizējiem skriptiem

Komandas, kas raksta jaunu Python skriptu katrai datu kopai, rada uzkrājošas problēmas.

Nepilnīgs aptvērums. Skripts, kas veidots vienai shēmai, palaiž garām jaunus laukus. Klīnisko piezīmju sleja, kas pievienota pirms sešiem mēnešiem? Nav regex. Vidējā vārda lauks? Skripts apstrādā tikai vārda un uzvārda modeļus.

Bez konsekvences. Datu kopa A tika apstrādāta ar script_v1. Datu kopa B izmantoja script_v3. Datu kopu C apstrādāja cits komandas loceklis. Apvienotajā apmācības kopā ir trīs dažādas metodes. DPO nevar to sertificēt.

Bez revīzijas pieraksta. Skripts izpildījās. Ko tas mainīja? Kādi entitāti tika atrasti? Bez apstrādes ierakstiem atbilstība nav iespējama. Kad DPA revidents jautā "kā jūs zināt, ka šī apmācības kopa ir tīra?", atbilde "mēs palaida Python skriptu" nav pietiekama.

Modeļa novirze. Regex modeļi, kas darbojās 2023. gadā, palaiž garām jaunus identifikatoru formātus no 2024. gada. Skripti neatjauninās sevi.

Partiju apstrādes apraksts

Veselības aprūpes AI komandai jāanonimizē 8 000 pacientu ierakstu. ASV komandai vajadzīga piekļuve no ES biroja. Piemēro Schrems II — ES izcelsmes ieraksti nevar doties uz ASV infrastruktūru bez atbilstošiem aizsardzības pasākumiem.

Tradicionālais ceļš: Datu inženieris raksta pielāgotu skriptu. Divas līdz trīs izstrādes dienas. Viena līdz divas DPO pārskatīšanas dienas. Viena iterācijas diena. Kopā: četras līdz sešas dienas. ML projekts aizkavējas.

Partiju apstrādes ceļš:

1. Eksportēt 8 000 ierakstus kā CSV
2. Augšupielādēt partiju apstrādei
3. Iestatīt entitātu tipus: PERSON, EMAIL_ADDRESS, PHONE_NUMBER, US_SSN, MEDICAL_RECORD, DATE_OF_BIRTH, LOCATION
4. Izvēlēties metodi: Replace (aizstāj ar reālistiskām sintētiskām vērtībām, saglabājot struktūru)
5. Apstrādāt: 45 minūtes 8 000 ierakstiem
6. Lejupielādēt tīro CSV
7. DPO pārskata apstrādes metadatus — entitāti, kas atrasti katrā ierakstā, piemērotās metodes: 2 stundas
8. DPO apstiprina. Nodošana notiek.

Kopējais laiks: 45 minūtes plus 2 stundas DPO pārskatīšanai. Tā vietā, lai tas ilgtu četras līdz sešas dienas.

Skatiet ES AI akta apmācības datu rokasgrāmatu, kā šie paši soļi izpilda 10. panta prasības.

Replace pret Redact ML izmantošanai

Anonimizācijas metodei ir nozīme modeļa kvalitātei.

Redact aizstāj PII ar marķieri, piemēram, [REDACTED]. Tas darbojas PII noteikšanas modeļiem. Citiem uzdevumiem — sentimentam, klasifikācijai, ieteikumiem — tas kaitē. Modelis apgūst, ka [REDACTED] ir īpašs marķieris. Tas nevar mācīties no vārdu un vērtību dabiskā sadalījuma.

Replace maina "John Smith" uz "David Chen". Tas maina "jsmith@company.com" uz "dchen@synthetic.com". Struktūra paliek neskartu. Entitātu izvietojums, vienlaicīgas parādīšanās modeļi, teikumu plūsma — viss tiek saglabāts. Modelis mācās no reālistiska konteksta.

ML apmācības kopām Replace ir pareizā izvēle. Modelis nemācās viltus vērtības. Tas mācās modeļus ap tām. Tas ir tas, kas ir svarīgi.

Schrems II un pārrobežu nodošana

Schrems II spriedums (CJEU, 2020) anulēja ES-ASV Privātuma vairoga sistēmu. ES izcelsmes ieraksti nevar doties uz ASV ML infrastruktūru — AWS US-East, GCP US-Central — bez atbilstošiem nodošanas aizsardzības pasākumiem.

Trīs galvenie aizsardzības pasākumi ir:

• Standarta līguma klauzulas ar nodošanas ietekmes novērtējumu
• Saistošie korporatīvie noteikumi nodošanai uzņēmumu grupā
• Derogācija anonimizētiem ierakstiem — pareizi anonimizēti faili vairs nav personas dati saskaņā ar GDPR un ir atbrīvoti no nodošanas noteikumiem

Komandām, kas izmanto ASV infrastruktūru ar ES izcelsmes kopām, pareiza anonimizācija novērš Schrems II problēmu. Tīrā datu kopa nav personiska. To var brīvi pārvietot.

Tā ir viena no spēcīgākajām partiju anonimizācijas praktiskajām priekšrocībām. Tā ne tikai izpilda GDPR. Tā pilnībā novērš pārrobežu berzi.

Plašāku informāciju par nodošanas ierobežojumiem skatiet GDPR mērķa ierobežošanas rokasgrāmatā.

Ko sniegt DPO

Iesniedzot tīru apmācības kopu DPO apstiprināšanai, iekļaujiet šos piecus punktus:

1. Avota apraksts. Kas bija sākotnējā datu kopa? Kāds bija vākšanas mērķis? Kādas personas kategorijas tā saturēja?
2. Anonimizācijas konfigurācija. Kādi entitātu tipi tika noteikti un aizstāti? Kāda metode tika piemērota?
3. Apstrādes metadati. Entitātu skaits katrā ierakstā, ticamības rādītāji, kopējais apstrādāto ierakstu skaits.
4. Atlikušā riska novērtējums. Kāda ir iespēja, ka kādu personu var atkārtoti identificēt? Replace metodes anonimizācijai ar 285+ entitātu tipiem strukturētā tekstā šī varbūtība ir ļoti zema.
5. Paredzētais izmantojums. Kāds modelis tiks apmācīts? Kāds ir apmācības mērķis?

Partiju apstrāde automātiski nodrošina 2. un 3. punktu. 1., 4. un 5. punkts nāk no datu zinātnieka.

Skatiet anonym.legal partiju API, kā apstrādes metadati tiek atgriezti ar katru darbu.

Ko jūs iegūstat

GDPR atbilstošas ML kopas ir sasniedzamas bez pielāgotiem skriptiem, bez daudzdienu kavēšanās un nezaudējot modeļa kvalitāti.

Replace metode saglabā dabiskās valodas īpašības, kas ir svarīgas NLP apmācībai. Tā novērš personas detaļas, kas rada GDPR risku.

45 minūtes partiju apstrādes ir atšķirība starp aizkavētu atbilstības pārskatīšanu un vienkāršu DPO parakstu.

Avoti

• GDPR 5., 9., 89. pants: Mērķa ierobežošana, īpašo kategoriju ieraksti un pētījumu aizsardzības pasākumi
• CJEU: Schrems II — Nodošana no ES uz ASV
• Eiropas Datu aizsardzības padome: Vadlīnijas par ML un GDPR