Script Bat Ez Da Nahikoa
Datu-zientzia talde orok honelako zerbait idatzi du:
import re
def anonymize_email(text):
return re.sub(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}', '[EMAIL]', text)
Honek posta elektronikoko helbideak ordezkatzen ditu. Hori da guztia. Dataset-ak oraindik izenak, telefono-zenbakiak eta osasun-IDak ditu. GDPR-auditoretza bat gaindituko ez du.
Emaitzek erakusten duten "emailak anonimizatu ditut" eta "dataset hau GDPR-bideragarria da" arteko aldea handia da. Taldeek askotan gutxiesten dute.
Zergatik Mugatzen du GDPRk ML Entrenamendurako Erabilera
GDPR 5(1)(b) artikulua gako-araua da. Xede-mugatze printzipioa deritzo. Datu pertsonalak soilik bildu ziren xederako erabil daitezke.
Bezeroen eskaerak eskaerak betetzeko bildu ziren. Ez gomendio-modelo bat entrenatzeko. Osasun-erregistroak tratamendurako bildu ziren. Ez ospitaleratzeak iragartzen dituen modelo bat entrenatzeko. Inkestako erantzunak produktuaren feedbackerako bildu ziren. Ez sentimendu-sailkatzaile bat entrenatzeko.
Erregistro horiek ML entrenamendurako erabiltzeko, taldeak hiru gauzetako bat behar du:
- Pertsona bakoitzaren berariazko baimena ML xederako -- lortzea zaila da, eta sarritan ezinezkoa atzeraeraginez
- ML erabilera bateragarria dela erakusten duen interes legitimoaren ebaluazioa -- juridikoki ziurgabea, DPAren araberakoa
- Anonimizazioa -- xehetasun pertsonalak ordezkatu edo kentzea, dataset-a GDPRen arabera pertsonala ez izateko
Anonimizazio egokiak ziurtasun juridiko handiena ematen du. Erronka beti ondo egitea da.
Script Bereizien Arazoaren
Dataset bakoitzerako Python script berri bat idazten duten taldeek arazo metatuak sortzen dituzte.
Estaldura osatugabea. Eskema batentzat eraikitako script batek eremu berriak galdu egiten ditu. Duela sei hilabete gehitutako kliniko-ohar-zutabe bat? Ez dago erregexetan. Erdiko izen-eremu bat? Scriptak lehen eta abizen-ereduak bakarrik kudeatzen ditu.
Koherentziarik eza. A dataset-a script_v1-ekin prozesatu zen. B dataset-ak script_v3 erabili zuen. C dataset-a beste taldekide batek prozesatu zuen. Batutako entrenamendu-set-ak hiru metodo desberdin aplikatuta ditu. DPO batek ezin du ziurtatzen.
Auditoria-arrastorik ez. Scriptak exekutatu zen. Zer aldatu zuen? Zein entitate aurkitu ziren? Prozesatze-erregistroak gabe, betetzea ezinezkoa da. DPA-auditore batek "nola dakizu entrenamendu-set hau garbia dela?" galdetzen duenean, "Python script bat exekutatu genuen" ez da erantzun egokia.
Modeloen joerak. 2023an funtzionatzen zuten Regex-ereduek 2024ko identifikatzaile-format berriak galtzen dituzte. Script-ak ez dira berritzen.
Batch Prozesatzearen Aurkeztapena
Osasun-AI talde batek 8.000 paziente-erregistro anonimizatu behar ditu. AEBetako taldeak EU bulegotik sartu behar du. Schrems II aplikatzen da -- EU-jatorriko erregistroak ezin dira AEBetako azpiegituretara joan neurri egokirik gabe.
Bide tradizionala: Datu-ingeniari batek script pertsonalizatua idazten du. Bi edo hiru eguneko garapena. Bi eguneko DPO-berrikuspena. Iterazio-egun bat. Guztira: lau-sei egun. ML proiektua atzeratu egiten da.
Batch prozesatzearen bidea:
- 8.000 erregistroak CSV gisa esportatu
- Batch prozesatzera igo
- Entitate-motak ezarri: PERSON, EMAIL_ADDRESS, PHONE_NUMBER, US_SSN, MEDICAL_RECORD, DATE_OF_BIRTH, LOCATION
- Metodoa aukeratu: Ordezkatu (egitura mantentzeko balio sintetiko errealak ordezkatzen ditu)
- Prozesatu: 45 minutu 8.000 erregistroetarako
- CSV garbitu deskargatu
- DPOk prozesatze-metadatuak berrikusi -- erregistro bakoitzeko aurkitutako entitate-kopurua, aplikatutako metodoak: 2 ordu
- DPOk onartu. Transferentzia egin.
Guztirako denbora: 45 minutu + DPO-berrikuntzako 2 ordu. Lau-sei egunetan beharrean.
Ikusi EU AI Ekintza entrenamendu-gida urrats hauek nola betetzen dituzten 10. artikuluaren betebeharrak jakiteko.
Ordezkatu vs. Ezabatu ML Erabilerarako
Anonimizazio-metodoak garrantzia du modelo-kalitaterako.
Ezabatu PII-a [REDACTED] bezalako token batekin ordezkatzen du. Honek funtzionatzen du PII detekzio-modeloetarako. Beste zeregimetarako -- sentimendua, sailkapena, gomendioak -- kaltea egiten du. Modeloak [REDACTED] token berezi gisa ikasten du. Ezin du izen eta balioen banaketa naturala ikasi.
Ordezkatu "John Smith" "David Chen" bihurtzen du. "jsmith@company.com" "dchen@synthetic.com" bihurtzen du. Egitura mantentzen da. Entitate-kokapena, co-occurrence ereduak, esaldi-fluxua -- denak gordeta. Modeloak testuinguru errealista ikasi egiten du. Hori da garrantzitsua.
ML entrenamendu-set-etarako, Ordezkatu da hautaketa egokia. Modeloak ez ditu balio faltsuak ikasten. Haien inguruko ereduak ikasten ditu. Hori da garrantzitsua.
Schrems II eta Mugaz Gaindiko Transferentziak
Schrems II epaiaren ondorioz (CJEU, 2020) EU-AEB Pribatutasun-Ezkutalekua baliogabetu zen. EU-jatorriko erregistroak ezin dira joan AEBetako ML azpiegituretara -- AWS US-East, GCP US-Central -- transferentzia-neurri egokirik gabe.
Hiru neurri nagusiak hauek dira:
- Klausula Kontratu Estandarrak Transferentzia Inpaktuaren Ebaluazioarekin
- Empresa-taldeen barneko transferentzietarako Arau Korporatibo Lotesleak
- Erregistro anonimizatuetarako salbuespena -- behar bezala anonimizatutako fitxategiak ez dira pertsonalak GDPRen arabera eta transferentzia-arauak salbuesten dira
AEBetako azpiegitura erabiltzen duten eta EU-jatorriko set-ak dituzten taldeentzat, anonimizazio egokiak Schrems II arazoa kentzen du. Dataset garbiak ez dira pertsonalak. Libreki mugi daitezke.
Hau da batch anonimizazioaren abantaila praktikorik indartsuenetako bat. GDPRa betetzetik haratago doa. Mugaz gaindiko marruskadura erabat kentzen du.
Transferentzia-murrizketei buruzko informazio gehiagorako, ikusi GDPR xede-mugatze gida.
DPOari Zer Eman
Entrenamendu-set garbi bat DPO-onarpenera bidaltzean, bost gauza hauek sartu:
- Iturriaren deskribapena. Jatorrizko dataset-a zein zen? Bilketa-xedea zein zen? Zein datu-kategoria pertsonalak zituen?
- Anonimizazio-konfigurazioa. Zein entitate-mota detektatu eta ordeztu ziren? Zein metodo aplikatu zen?
- Prozesatze-metadatuak. Erregistro bakoitzeko entitate-kopurua, konfiantza-puntuazioak, guztirako erregistroak prozesatuta.
- Hondakin-arrisku ebaluazioa. Zein probabilitate dago edozein pertsonaren berridentifikazioa gertatzeko? Ordezkatu-metodoaren anonimizaziorako 285+ entitate-motan testu egituratuan, probabilitate hau oso txikia da.
- Xedatutako erabilera. Zein modelo entrenatzeko? Zein da entrenamendu-xedea?
Batch prozesatzeak 2 eta 3 elementuak automatikoki ematen ditu. 1, 4 eta 5 elementuak datu-zientzialdetatik daude.
Ikusi anonym.legal batch API prozesatze-metadatuak lan bakoitzarekin nola itzultzen diren jakiteko.
Zer Irabazten Duzu
GDPR-bideragarriak diren ML set-ak script pertsonalizatu gabe, egun luzetako atzerapenik gabe eta modelo-kalitatea galdu gabe lor daitezke.
Ordezkatu metodoak NLP entrenamendurako garrantzitsuak diren hizkuntza-propietate naturalak mantentzen ditu. GDPR arriskua sortzen duten xehetasun pertsonalak kentzen ditu.
45 minutuko batch prozesatzea da betetze-berrikuspena atzeratzearen eta DPO-onarpena zuzenaren arteko aldea.