By · Last updated 2026-06-04

Atgal į BlogąTechninė

Atkartojamai privatumas: ML išankstinės konfigūracijos

ML mokymo duomenų anonimizavimas turi būti nuoseklus ir atkartojamas. Jei duomenų mokslininkai A ir B taiko skirtingus objektų tipus, mokymo duomenų rinkiniai skiriasi.

June 4, 20266 min skaityti
ML training datareproducible privacyGDPR AI ActCNIL enforcementdata science compliance

Atkartojamas privatumas: kodėl ML komandos reikia išankstinių konfigūracijų, o ne tik dokumentų

DPA patvirtino anonimizavimo planą. Jis apima keturis elementus: vardus, el. pašto adresus, telefono numerius ir gimimo datas. Metodas yra Pakeisti. Planas yra keturių puslapių ir gyvena atitikties wiki.

Dvylika duomenų mokslininkų perskaito jį pirminiame susitikime. Kiekvienas nusistato įrankį savarankiškai. Kai kurie prideda nacionalinius identifikatorius. Kai kurie prideda IP adresus. Kai kurie perjungia į Redaguoti. Po trijų mėnesių rinkiniai nėra nuoseklūs.

CNIL 2024 m. patikrino keletą DI įmonių. Klausimas: netinkamas asmeninių duomenų naudojimas modelių rinkiniuose. Jie ne tik klausė, ar anonimizavimas įvyko. Jie klausė, kaip nuosekliai jis buvo taikytas.

Dokumentai yra reikalingi. Jų nepakanka. Pataisymas yra išankstinė konfigūracija.

Kodėl ML modelių rinkiniai reikalauja savo konfigūracijos

Modelių rinkinių kūrimas turi unikalius poreikius. Bendrasis dokumentų anonimizavimas jų nesidalija.

Pakeisti, ne Redaguoti. Modeliai, apmokyti ant teksto, kur vardai tampa [REDAGUOTA], išmoksta tą žetoną kaip vardo pozicijos žymiklį. Tai kenkia modeliui. Pakeisti sujungia "John Smith" su "David Chen". Modelis mato tikrus vardų šablonus. Jis nemato maskavimo žetono.

Tas pats procesas visiems įrašams. Rinkinys, kur 70% vardų yra pakeisti ir 30% yra [REDAGUOTA], siunčia mišrų signalą. Kiekvienas įrašas turi praeiti tuos pačius žingsnius.

Tas pats objektų sąrašas. Jei rinkinyje yra sveikatos duomenų, vardų šalinimas, bet gimimo datų palikimas kai kuriuose įrašuose sukuria spragas. Visi dvylika duomenų mokslininkų turi pašalinti tuos pačius tipus.

Jokio per didelio šalinimo. Datų, kurios yra laiko žymos, o ne gimimo datos, šalinimas sumažina rinkinio kokybę be atitikties naudos. Patvirtinta išankstinė konfigūracija tiksliai nurodo, kuriuos elementus pašalinti.

Atkartojama išvestis. Jei rinkinys turi būti paleistas iš naujo - tarkime, po praleisto objektų tipo aptikimo - išankstinė konfigūracija kiekvieną kartą duoda tą patį rezultatą. Ad hoc konfigūracijos to nedaro.

Dvylikos duomenų mokslininkų problema

Fintech ML komanda Europoje naudoja rinkinius iš klientų žurnalų. DPA patvirtino tikslą - sukčiavimo aptikimas - su viena taisykle: visi klientų vardai, el. pašto adresai, telefono numeriai ir mokėjimo identifikatoriai turi būti pakeisti prieš pradedant modelio darbą.

Be išankstinių konfigūracijų:

  • 1 asmuo pašalina vardus, el. pašto adresus ir telefono numerius - bet praleidžia mokėjimo identifikatorius
  • 2 asmuo įtraukia mokėjimo identifikatorius, bet naudoja Redaguoti, o ne Pakeisti
  • 3 asmuo tiksliai vadovaujasi plano dokumentu
  • 4-12 asmenys įvairuoja

Sujungtas rinkinys yra iš dalies neatitinkantis ir iš dalies per daug apdorotas. DPA negali jo sertifikuoti.

Su DPA patvirtinta išankstine konfigūracija:

  • DPA sukuria "ML Dev - Sukčiavimo aptikimas" su tiksliais objektų tipais ir Pakeisti metodu
  • Išankstinė konfigūracija perduodama visiems dvylikai asmenų su viena taisykle: naudokite tai visiems rinkinio darbams
  • Niekas negali pakeisti išankstinės konfigūracijos be DPA patvirtinimo

Kiekvienas asmuo dabar gamina tą pačią išvestį. Sujungtas rinkinys yra nuoseklus. Metinis DI auditas praeina be radinių. Ankstesniais metais buvo trys radiniai dėl nenuoseklaus rinkinio darbo.

BDAR ir DI aktas

Atnaujinta 2026 m.

ES DI aktas įsigaliojo visiškai 2024 m. rugpjūtį. Jis prideda taisykles DI sistemoms, kurios naudoja asmens duomenis modelio darbui. Aukštos rizikos DI sistemoms turi būti dokumentuoti jų rinkiniai, įskaitant taikytą anonimizavimą.

BDAR 5(1)(b) straipsnis - tikslo apribojimo taisyklė - blokuoja asmens duomenų naudojimą be aiškaus teisinio pagrindo. CNIL 2024 m. bylos sutelkė dėmesį į šią spragą: duomenys, surinkti vienai paslaugai, naudojami modelio darbui be galiojančio pagrindo ar anonimizavimo.

Išankstinės konfigūracijos padeda patenkinti abiejų taisyklių rinkinių reikalavimus:

  • Išankstinės konfigūracijos pavadinimas ir konfigūracija: dokumentuotas metodas
  • Apdorojimo žurnalai: įrodymas, kad metodas buvo taikytas
  • DPA patvirtinimas: užfiksuotas konfigūracijos patvirtinimas

Tai sukuria audito seką, kurios reikalauja abu įstatymai. Dėl 10 straipsnio įpareigojimų detaliai žr. ES DI akto mokymo duomenų vadovas.

NLP modelių rinkinių išankstinės konfigūracijos nustatymas

Tipai, kuriuos reikia įtraukti į daugumą NLP modelių rinkinių:

  • ASMUO - Pakeisti panašiais vardais
  • EL_PASTAS - Pakeisti sintetiniais adresais
  • TELEFONO_NUMERIS - Pakeisti sintetiniais numeriais
  • KREDITO_KORTELE / IBAN - Pakeisti arba Redaguoti
  • VIETA - Pakeisti panašiomis vietomis, jei vieta svarbi; Redaguoti, jei ne
  • GIMIMO_DATA - Redaguoti; dažnai reikia amžiaus grupavimo

Tipai, dažnai paliekami:

  • Bendros datos - laiko žymos padeda laiko modeliams
  • Organizacijų pavadinimai - padeda pavadinimų atpažinimo modeliams
  • URL - padeda nuorodų ir nuorodos modeliams

ML vadovas ir DPA nustato šias taisykles patvirtintoje išankstinėje konfigūracijoje. Komandos nariai ją taiko. Jie nepriima konfigūracijos sprendimų.

Išankstinės konfigūracijos kaip institucinė atmintis

Prieš išankstines konfigūracijas. Tinkama objektų konfigūracija gyveno trijų duomenų mokslininkų galvose. Jie buvo dirbę per atitikties peržiūrą. Du išėjo Q3. Žinios išėjo kartu su jais.

Po išankstinių konfigūracijų. Konfigūracija gyvena "ML Dev - Klientų įrašai v2.1". Versijų žurnalas rodo, kada ji buvo sukurta, kas ją patvirtino ir kas pasikeitė nuo v2.0. Nauji komandos nariai naudoja išankstinę konfigūraciją ir gauna visas į ją įdiegtas žinias.

2.1 versija pridėjo IBAN aptikimą po to, kai peržiūra jį rado trūkstamu. 2.0 versija buvo patvirtinta 2025 m. vasarį. Žurnalas yra išsamus.

Apie apdorojimo žurnalų ir DPA peržiūros srautų veikimą žr. BDAR ML mokymo anonimizavimo vadovas.

Išankstinės konfigūracijos prieš CNIL modelį

CNIL 2024 m. DI bylos nustato aiškų modelį. Jie klausia ne tik, kas buvo pašalinta, bet kaip tai buvo valdoma. Bendra išankstinė konfigūracija su DPA patvirtinimo įrašu ir apdorojimo žurnalais į tai tiesiogiai atsako.

Ad hoc konfigūracija - ne. Ta pati spraga egzistuoja kitose ES DPA bylose, kurios seka CNIL logiką. Daugiau apie CNIL DI požiūrį žr. CNIL BDAR DI atitikties vadovas.

Išvada

Dokumentai nurodo komandos nariams, ką daryti. Išankstinės konfigūracijos leidžia lengvai - ir privalomai - daryti tą patį kiekvieną kartą.

ML modelių rinkiniams nuoseklumas yra ir teisinis, ir techninis poreikis. Išankstinė konfigūracija abu patenkina vienu metu.

DPA, žiūrinčios į DI praktikas, nori vienodo anonimizavimo įrodymų. Išankstinė konfigūracija, taikoma vienodai visam rinkinio darbui, yra aiškiausias įrodymas, kurį galite jiems pateikti.

Šaltiniai

Pasiruošę apsaugoti savo duomenis?

Pradėkite anonimizuoti PII su 285+ subjektų tipais 48 kalbomis.

About this page

We update this page when our platform or the law changes.

Read our founder note for how we work.

Each change shows up in the timestamp at the top.

Related reading

We follow these rules

  • GDPR (EU 2016/679).
  • ISO/IEC 27001:2022.
  • NIS2 (EU 2022/2555).
  • HIPAA safe harbor under 45 CFR § 164.514(b)(2).

Our promise

We do not sell your data.

We do not train models on your text.

We store your files in Germany.

You can delete your account at any time.

You own your work.

Where we run

Our servers live in Falkenstein, Germany.

We use Hetzner. They hold ISO 27001 certification.

All data stays in the EU.

Backups run every day.

Need help?

Email support@anonym.legal.

We reply within one business day.

How we test

We run a full check suite on every release.

Each surface gets its own sweep script and report.

Human reviewers spot-check the output each week.

We track recall and precision on a labelled set.

Bad runs block the deploy.

What we never do

  • We never sell your information to third parties.
  • We never train models on what you upload.
  • We never keep your work after you delete it.
  • We never share keys with any outside firm.
  • We never run ads inside the product.

Plans in plain words

We sell credits, not seats.

One credit covers one short job.

Long jobs use a few credits each.

You can top up at any time.

Unused credits roll over each month.

Read the plans page for current rates.

Who built this

A small team of engineers and lawyers built this.

We ship from Europe and work in the open.

Our founder note spells out why we started.

Where to start

How the parts fit

A browser add-on cleans text inside Chrome.

A Word plug-in handles drafts in Office.

A small desktop tool works on whole folders.

An agent protocol link feeds large models safely.

All four share one core engine and one rule set.

Words from our team

We started this work after a lunch about cookies.

One friend kept getting odd ads on her phone.

We asked why a court file leaked through a draft.

We sketched the first build on a napkin that week.

By month three we had a tiny demo for a friend.

She used it on her first case the next day.

Common questions we hear

Can the tool read scanned PDFs? Yes, with OCR.

Does it work on long files? Yes, in small chunks.

Can I roll my own rule set? Yes, save it as a preset.

Does it run offline? The desktop build runs offline.

Do you keep my files? No, the cloud build wipes after each run.

Will it learn from my work? No, we never train on inputs.

A short tour of the workflow

Upload a file or paste a snippet of prose.

Pick the entities you want gone from the draft.

Choose a method: replace, mask, hash, encrypt, or redact.

Press run and watch the side panel show each hit.

Skim the result and tweak any rule that misfired.

Save the cleaned file or send it to a teammate.