Een Skrip Is Nie Genoeg Nie
Elke datawetenskapspan het al iets soos hierdie geskryf:
import re
def anonymize_email(text):
return re.sub(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}', '[EMAIL]', text)
Dit vervang e-posadresse. Dit is al wat dit doen. Die datastel bevat steeds name, telefoonnommers en mediese ID's. Dit sal steeds 'n GDPR-oudit misluk.
Die gaping tussen "ek het die e-posse geanonimiseer" en "hierdie datastel is GDPR-voldoenend" is groot. Spanne onderskat dit altyd.
Hoekom GDPR ML-Opleidingsgebruik Beperk
GDPR Artikel 5(1)(b) is die sleutelreel. Dit word die doelbepeркingsbeginsel genoem. Persoonlike rekords mag slegs gebruik word vir die doel waarvoor dit ingesamel is.
Klienterbestellings is ingesamel vir bestellingsvervulling. Nie vir die opleiding van 'n aanbevelingsmodel nie. Gesondheidsrekords is ingesamel vir behandeling. Nie vir die opleiding van 'n hertoelatingmodel nie. Opname-antwoorde is ingesamel vir produkkterugvoer. Nie vir die opleiding van 'n sentimentklassifiseerder nie.
Om hierdie rekords vir ML-opleiding te gebruik, benodig 'n span een van drie dinge:
- Uitdruklike toestemming van elke persoon vir die ML-doel - moeilik om te kry, dikwels onmoontlik met terugwerkende krag
- 'n Wettige belang-assessering wat toon dat die ML-gebruik versoenbaar is - regtens onseker, DPA-afhanklik
- Anonimisering - die vervanging of verwydering van persoonlike besonderhede sodat die datastel nie meer persoonlik is onder GDPR nie
Behoorlike anonimisering bied die meeste regssekerheid. Die uitdaging is om dit elke keer reg te doen.
Die Probleem met Eenmalige Skrifte
Spanne wat 'n nuwe Python-skrip vir elke datastel skryf, skep samegestelde probleme.
Onvolledige dekking. 'n Skrip wat vir een skema gebou is, mis nuwe velde. 'n Kliniese aantekeninge-kolom wat ses maande gelede bygevoeg is? Nie in die regex nie. 'n Tweede naam-veld? Die skrip hanteer slegs voor- en vanne-patrone.
Geen konsekwentheid nie. Datastel A is verwerk met script_v1. Datastel B het script_v3 gebruik. Datastel C is deur 'n ander spanlid verwerk. Die saamgevoegde opleidingstel het drie verskillende metodes toegepas. 'n DPO kan dit nie sertifiseer nie.
Geen ouditspoor nie. Die skrip het gehardloop. Wat het dit verander? Watter entiteite is gevind? Sonder verwerkingsrekords is voldoening onmoontlik. Wanneer 'n DPA-ouditeur vra "hoe weet jy hierdie opleidingstel is skoon?", is die antwoord "ons het 'n Python-skrip gehardloop" nie genoeg nie.
Model-drif. Regex-patrone wat in 2023 gewerk het, mis nuwe identifikatorformate van 2024. Skrifte werk nie hulself by nie.
'n Lotverwerking Deurlopen
'n Gesondheidsorg-AI-span moet 8 000 pasienterekords anonimiseer. Die VSA-span benodig toegang vanaf 'n EU-kantoor. Schrems II is van toepassing - EU-herkoms-rekords kan nie na VSA-infrastruktuur gaan sonder behoorlike waarborge nie.
Tradisionele pad: 'n Data-ingenieur skryf 'n pasgemaakte skrip. Twee tot drie dae ontwikkeling. Een tot twee dae DPO-hersien. Een dag iterasie. Totaal: vier tot ses dae. Die ML-projek gly.
Lotverwerking-pad:
- Voer die 8 000 rekords as CSV uit
- Laai op na lotverwerking
- Stel entiteitstipes in: PERSON, EMAIL_ADDRESS, PHONE_NUMBER, US_SSN, MEDICAL_RECORD, DATE_OF_BIRTH, LOCATION
- Kies metode: Vervang (vervang realistiese sintetiese waardes om struktuur te bewaar)
- Verwerk: 45 minute vir 8 000 rekords
- Laai die skoon CSV af
- DPO hersien verwerkingsmetadata - entiteite gevind per rekord, metodes toegepas: 2 uur
- DPO keur goed. Oordrag gaan voort.
Totale tyd: 45 minute plus 2 uur DPO-hersien. In plaas van vier tot ses dae.
Sien die EU AI Act-opleidingsgids vir hoe dieselfde stappe Artikel 10-verpligtinge bevredig.
Vervang vs. Redakteer vir ML-Gebruik
Die anonimiseringsmetode is belangrik vir modelkwaliteit.
Redakteer vervang PII met 'n token soos [GEREDAKTEER]. Dit werk vir PII-opsporingsmodelle. Vir ander take - sentiment, klassifikasie, aanbeveling - benadeel dit die model. Die model leer dat [GEREDAKTEER] 'n spesiale token is. Dit kan nie leer van die natuurlike verspreiding van name en waardes nie.
Vervang ruil "Jan Smith" vir "David Chen". Dit ruil "jsmith@maatskappy.com" vir "dchen@sinteties.com". Die struktuur bly intact. Entiteitsplasing, mede-voorkompatrone, sinvloei - alles bewaar. Die model leer van realistiese konteks.
Vir ML-opleidingstelle is Vervang die regte keuse. Die model leer nie die vals waardes nie. Dit leer die patrone rondom hulle. Dit is wat saak maak.
Schrems II en Grensoverschreidende Oordragte
Die Schrems II-uitspraak (HJE, 2020) het die EU-VSA Privaatskildverdrag ongeldig verklaar. EU-herkoms-rekords kan nie na VSA ML-infrastruktuur gaan - AWS VSA-Oos, GCP VSA-Sentraal - sonder behoorlike oordragwaarborge nie.
Die drie hoof-waarborge is:
- Standaard Kontraktuele Klousules met 'n Oordrag-impak-assessering
- Bindende Korporatiewe Reels vir oordragte binne 'n maatskappygroep
- Afwyking vir geanonimiseerde rekords - behoorlik geanonimiseerde leers is nie meer persoonlik onder GDPR nie en is vrygestel van oordragreels
Vir spanne wat VSA-infrastruktuur met EU-herkoms-stelle gebruik, verwyder behoorlike anonimisering die Schrems II-probleem. Die skoon datastel is nie persoonlik nie. Dit kan vrylik beweeg.
Dit is een van die sterkste praktiese voordele van lotanonimisering. Dit bevredig meer as net GDPR. Dit verwyder grensoverschreidende wrywing heeltemal.
Vir meer oor oordragbeperkings, sien die GDPR doelbeperkingsgids.
Wat om aan die DPO te Gee
Wanneer 'n skoon opleidingstel vir DPO-goedkeuring ingedien word, sluit hierdie vyf items in:
- Bronbeskrywing. Wat was die oorspronklike datastel? Wat was die versamelingsdoel? Watter persoonlike kategoriee het dit bevat?
- Anonimiseringskonfigurasie. Watter entiteitstipes is opgespoor en vervang? Watter metode is toegepas?
- Verwerkingsmetadata. Entiteitstelling per rekord, vertroue-tellings, totale rekords verwerk.
- Residuale risiko-assessering. Wat is die kans dat enige individu her-identifiseer kan word? Vir Vervang-metode anonimisering met 285+ entiteitstipes op gestruktureerde teks, is hierdie waarskynlikheid baie laag.
- Beoogde gebruik. Watter model sal opgelei word? Wat is die opleidingsdoel?
Lotverwerking verskaf items 2 en 3 outomaties. Items 1, 4 en 5 kom van die datawetenskaplike.
Sien die anonym.legal lot-API vir hoe verwerkingsmetadata met elke taak teruggegee word.
Wat Jy Wen
GDPR-voldoenende ML-stelle is bereikbaar sonder pasgemaakte skrifte, sonder meerdaagse vertragings, en sonder verlies van modelkwaliteit.
Die Vervang-metode bewaar die natuurlike taaleienskappe wat vir NLP-opleiding saak maak. Dit verwyder die persoonlike besonderhede wat GDPR-risiko skep.
45 minute lotverwerking is die verskil tussen 'n vertraagde nakomingsoorsig en 'n eenvoudige DPO-goedkeuring.