By · Last updated 2026-06-04

Atpakaļ uz BloguTehniskā

Reproducējams privātums: ML iepriekšiestatījumi

ML apmācības datu anonimizācijai jābūt konsekventai un reproducējamai. Ja datu zinātnieki A un B piemēro atšķirīgus entītiju tipus, apmācības datu kopas ir nekonsekventa.

June 4, 20266 min lasīšanai
ML training datareproducible privacyGDPR AI ActCNIL enforcementdata science compliance

Reproducējams privātums: Kāpēc ML komandām nepieciešami iepriekšiestatījumi, ne tikai dokumenti

DPO apstiprināja anonimizācijas plānu. Tas aptver četrus elementus: vārdus, e-pastus, tālruņu numurus un dzimšanas datumus. Metode ir Aizstāt. Plāns ir četras lapas un atrodas atbilstības wiki.

Divpadsmit datu zinātnieki to izlasīja kickoff sesijā. Katrs pats iestatīja rīku. Daži pievienoja valsts ID. Daži pievienoja IP adreses. Daži pārslēdzās uz Anonimizēt. Trīs mēnešus vēlāk kopas nav konsekventa.

CNIL 2024. gadā pārbaudīja vairākas AI firmas. Problēma: personas datu nepareiza izmantošana modeļu kopās. Viņi ne tikai jautāja, vai anonimizācija notika. Viņi jautāja, cik konsekventā veidā tā tika piemērota.

Dokumenti ir nepieciešami. Tikai tie nav pietiekami. Labojums ir iepriekšiestatījums.

Kāpēc ML modeļu kopām nepieciešama sava konfigurācija

Modeļu kopu veidošanai ir unikālas vajadzības. Vispārēja dokumentu anonimizācija tās neatdala.

Aizstāt, nevis Anonimizēt. Modeļi, kas apmācīti uz tekstu, kur vārdi kļūst par [REDACTED], iegūst šo marķieri kā vārda pozīcijas indikatoru. Tas kaitē modelim. Aizstāt nomaina "Jānis Bērziņš" ar "Pēteris Kalniņš". Modelis redz reālus vārdu rakstus. Tas neredz maskas marķieri.

Vienāds process visiem ierakstiem. Kopa, kur 70% vārdu ir aizstāti un 30% ir [REDACTED], sūta jauktus signālus. Katram ierakstam jāiet cauri tiem pašiem soļiem.

Vienāds entītiju saraksts. Ja kopa satur veselības datus, vārdu noņemšana, bet dzimšanas datumu atstāšana dažos ierakstos rada robus. Visiem divpadsmit datu zinātniekiem jānoņem tie paši tipi.

Bez pārlieku noņemšanas. Datumu, kas ir laika zīmogi — nevis dzimšanas datumi — noņemšana samazina kopas kvalitāti bez atbilstības ieguvuma. Apstiprinātais iepriekšiestatījums precīzi norāda, kurus elementus noņemt.

Reproducējama izvade. Ja kopa jāpalaiž vēlreiz — piemēram, pēc nokavēta entītiju tipa atklāšanas — iepriekšiestatījums dod to pašu rezultātu katru reizi. Ad-hoc konfigurācijas to nedara.

Divpadsmit datu zinātnieku problēma

Fintech ML komanda Eiropā izmanto kopas no klientu žurnāliem. DPO apstiprināja mērķi — krāpšanas atklāšana — ar vienu noteikumu: visi klientu vārdi, e-pasti, tālruņu numuri un maksājumu ID ir jāaizstāj pirms modeļa darba sākšanas.

Bez iepriekšiestatījumiem:

    1. persona noņem vārdus, e-pastus un tālruņu numurus — bet palaiž garām maksājumu ID
    1. persona iekļauj maksājumu ID, bet izmanto Anonimizēt, nevis Aizstāt
    1. persona precīzi ievēro plāna dokumentu
  • 4.–12. persona atšķiras

Apvienotā kopa ir daļēji neatbilstoša un daļēji pārāk apstrādāta. DPO nevar to sertificēt.

Ar DPO apstiprinātu iepriekšiestatījumu:

  • DPO izveido "ML Dev — krāpšanas atklāšana" ar precīziem entītiju tipiem un Aizstāt metodi
  • Iepriekšiestatījums nonāk pie visiem divpadsmit cilvēkiem ar vienu noteikumu: izmantojiet to visam kopas darbam
  • Neviens nevar mainīt iepriekšiestatījumu bez DPO apstiprinājuma

Katrs cilvēks tagad ražo to pašu izvadi. Apvienotā kopa ir konsekventa. Gada AI revīzija iziet bez atradumiem. Iepriekšējā gadā bija trīs atradumi no nekonsekventa kopas darba.

GDPR un AI akts

Atjaunināts 2026. gadam

ES AI akts pilnībā stājās spēkā 2024. gada augustā. Tas pievieno noteikumus AI sistēmām, kas izmanto personas datus modeļa darbam. Augsta riska AI sistēmām jādokumentē savas kopas, tostarp kāda anonimizācija tika piemērota.

GDPR 5(1)(b) pants — mērķa ierobežojuma noteikums — bloķē personas datu izmantošanu bez skaidra juridiska pamata. CNIL 2024. gada lietas koncentrējās uz šo robu: dati, kas savākti vienam pakalpojumam, izmantoti modeļa darbam bez derīga pamata vai anonimizācijas.

Iepriekšiestatījumi palīdz izpildīt abus noteikumu kopumus:

  • Iepriekšiestatījuma nosaukums un konfigurācija: dokumentētā metode
  • Apstrādes žurnāli: pierādījums, ka metode tika piemērota
  • DPO apstiprinājums: reģistrēts konfigurācijas apstiprinājums

Šis izveido revīzijas pēdu, ko prasa abi likumi. Sīkāku informāciju par 10. panta pienākumiem skatiet ES AI akta apmācības datu rokasgrāmata.

Iepriekšiestatījuma konfigurācija NLP modeļu kopām

Tipi, kas iekļaujami vairumā NLP modeļu kopu:

  • PERSON — aizstāt ar līdzīgiem vārdiem
  • EMAIL_ADDRESS — aizstāt ar sintētiskām adresēm
  • PHONE_NUMBER — aizstāt ar sintētiskiem numuriem
  • CREDIT_CARD / IBAN — aizstāt vai anonimizēt
  • LOCATION — aizstāt ar līdzīgām vietām, ja atrašanās vieta ir nozīmīga; anonimizēt, ja nav
  • DATE_OF_BIRTH — anonimizēt; vecuma grupēšana bieži nepieciešama

Tipi, kas bieži tiek izlaisti:

  • Vispārīgi datumi — laika zīmogi palīdz temporālajiem modeļiem
  • Organizāciju nosaukumi — palīdz nosauktu entītiju modeļiem
  • URL — palīdz saites un atsauces modeļiem

ML vadītājs un DPO iestata šos noteikumus apstiprinātajā iepriekšiestatījumā. Komandas locekļi to piemēro. Viņi nepieņem konfigurācijas izvēles.

Iepriekšiestatījumi kā institucionālā atmiņa

Pirms iepriekšiestatījumiem. Pareizā entītiju konfigurācija bija trīs datu zinātnieku galvās. Viņi bija izgājuši cauri atbilstības pārskatīšanai. Divi aizgāja 3. ceturksnī. Zināšanas aizgāja ar viņiem.

Pēc iepriekšiestatījumiem. Konfigurācija atrodas "ML Dev — klientu ieraksti v2.1". Versiju žurnāls rāda, kad tas tika izveidots, kas to apstiprināja un kas mainījās no v2.0. Jaunie komandas locekļi izmanto iepriekšiestatījumu un saņem visas tajā iekodētās zināšanas.

Versija 2.1 pievienoja IBAN noteikšanu pēc tam, kad pārskatīšana to atklāja kā trūkstošu. Versija 2.0 tika apstiprināta 2025. gada februārī. Žurnāls ir pilnīgs.

Par to, kā apstrādes žurnāli un DPO pārskatīšanas plūsmas darbojas, skatiet GDPR ML apmācības anonimizācijas rokasgrāmata.

Iepriekšiestatījumi pret CNIL paraugu

CNIL 2024. gada AI lietas nosaka skaidru paraugu. Viņi jautā ne tikai to, kas tika noņemts, bet arī kā tas tika pārvaldīts. Kopīgs iepriekšiestatījums ar DPO apstiprinājuma ierakstu un apstrādes žurnāliem atbild uz to tieši.

Ad-hoc konfigurācija to nedara. Tas pats robs pastāv citās ES DPA lietās, kas seko CNIL loģikai. Sīkāku informāciju par CNIL AI pieeju skatiet CNIL GDPR AI atbilstības rokasgrāmata.

Secinājums

Dokumenti stāsta komandas locekļiem, kas jādara. Iepriekšiestatījumi padara to viegli — un izpildāmu — darīt to pašā veidā katru reizi.

ML modeļu kopām konsekvence ir gan juridiska vajadzība, gan tehniska. Iepriekšiestatījums apmierina abus vienlaikus.

DPA, kas skatās uz AI praksi, vēlas pierādījumus par vienveidīgu anonimizāciju. Iepriekšiestatījums, kas tiek piemērots vienādā veidā visam kopas darbam, ir skaidrākais pierādījums, ko varat sniegt.

Avoti

Vai esat gatavi aizsargāt savus datus?

Sāciet PII anonimizāciju ar 285+ entitāšu veidiem 48 valodās.

About this page

We update this page when our platform or the law changes.

Read our founder note for how we work.

Each change shows up in the timestamp at the top.

Related reading

We follow these rules

  • GDPR (EU 2016/679).
  • ISO/IEC 27001:2022.
  • NIS2 (EU 2022/2555).
  • HIPAA safe harbor under 45 CFR § 164.514(b)(2).

Our promise

We do not sell your data.

We do not train models on your text.

We store your files in Germany.

You can delete your account at any time.

You own your work.

Where we run

Our servers live in Falkenstein, Germany.

We use Hetzner. They hold ISO 27001 certification.

All data stays in the EU.

Backups run every day.

Need help?

Email support@anonym.legal.

We reply within one business day.

How we test

We run a full check suite on every release.

Each surface gets its own sweep script and report.

Human reviewers spot-check the output each week.

We track recall and precision on a labelled set.

Bad runs block the deploy.

What we never do

  • We never sell your information to third parties.
  • We never train models on what you upload.
  • We never keep your work after you delete it.
  • We never share keys with any outside firm.
  • We never run ads inside the product.

Plans in plain words

We sell credits, not seats.

One credit covers one short job.

Long jobs use a few credits each.

You can top up at any time.

Unused credits roll over each month.

Read the plans page for current rates.

Who built this

A small team of engineers and lawyers built this.

We ship from Europe and work in the open.

Our founder note spells out why we started.

Where to start

How the parts fit

A browser add-on cleans text inside Chrome.

A Word plug-in handles drafts in Office.

A small desktop tool works on whole folders.

An agent protocol link feeds large models safely.

All four share one core engine and one rule set.

Words from our team

We started this work after a lunch about cookies.

One friend kept getting odd ads on her phone.

We asked why a court file leaked through a draft.

We sketched the first build on a napkin that week.

By month three we had a tiny demo for a friend.

She used it on her first case the next day.

Common questions we hear

Can the tool read scanned PDFs? Yes, with OCR.

Does it work on long files? Yes, in small chunks.

Can I roll my own rule set? Yes, save it as a preset.

Does it run offline? The desktop build runs offline.

Do you keep my files? No, the cloud build wipes after each run.

Will it learn from my work? No, we never train on inputs.

A short tour of the workflow

Upload a file or paste a snippet of prose.

Pick the entities you want gone from the draft.

Choose a method: replace, mask, hash, encrypt, or redact.

Press run and watch the side panel show each hit.

Skim the result and tweak any rule that misfired.

Save the cleaned file or send it to a teammate.