By · Last updated 2026-05-27

بازگشت به وبلاگفنی

ناشناس‌سازی داده‌های آموزشی ML مطابق GDPR

GDPR استفاده از داده‌های شخصی برای آموزش ML فراتر از هدف اولیه جمع‌آوری را محدود می‌کند. دانشمندان داده که به اسکریپت‌های یک‌بار مصرف پایتون تکیه می‌کنند، شکاف‌های انطباقی جدی ایجاد می‌کنند.

May 27, 20267 دقیقه مطالعه
ML training dataGDPR data scienceSchrems IItraining dataset anonymizationresponsible AI

یک اسکریپت کافی نیست

هر تیم علم داده چیزی شبیه به این نوشته است:

import re
def anonymize_email(text):
    return re.sub(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}', '[EMAIL]', text)

این کد فقط آدرس‌های ایمیل را جایگزین می‌کند. همین و بس. مجموعه داده همچنان شامل نام‌ها، شماره تلفن‌ها و شناسه‌های پزشکی است. در حسابرسی GDPR شکست می‌خورد.

شکاف بین «ایمیل‌ها را ناشناس کردم» و «این مجموعه داده با GDPR مطابقت دارد» بزرگ است. تیم‌ها همیشه آن را دست کم می‌گیرند.

چرا GDPR استفاده آموزش ML را محدود می‌کند

ماده ۵(۱)(ب) GDPR قانون کلیدی است. اصل محدودیت هدف نام دارد. سوابق شخصی فقط برای هدفی که برای آن جمع‌آوری شده‌اند قابل استفاده‌اند.

سفارشات مشتریان برای پردازش سفارش جمع‌آوری شده‌اند. نه برای آموزش مدل توصیه. سوابق سلامتی برای درمان جمع‌آوری شده‌اند. نه برای آموزش مدل پیش‌بینی بستری مجدد. پاسخ‌های نظرسنجی برای بازخورد محصول جمع‌آوری شده‌اند. نه برای آموزش طبقه‌بند احساسات.

برای استفاده از آن سوابق در آموزش ML، یک تیم به یکی از سه چیز نیاز دارد:

  1. رضایت صریح هر فرد برای هدف ML — دشوار برای دریافت، اغلب به صورت گذشته‌نگر غیرممکن
  2. ارزیابی منافع مشروع که نشان دهد استفاده ML سازگار است — از نظر حقوقی نامشخص، وابسته به DPA
  3. ناشناس‌سازی — جایگزینی یا حذف جزئیات شخصی تا مجموعه داده دیگر تحت GDPR شخصی نباشد

ناشناس‌سازی صحیح بیشترین اطمینان قانونی را می‌دهد. چالش این است که هر بار آن را درست انجام دهیم.

مشکل اسکریپت‌های یک‌بار مصرف

تیم‌هایی که برای هر مجموعه داده اسکریپت پایتون جدید می‌نویسند، مشکلات مرکب ایجاد می‌کنند.

پوشش ناقص. اسکریپتی که برای یک طرح ساخته شده، فیلدهای جدید را نادیده می‌گیرد. ستون یادداشت‌های بالینی اضافه شده شش ماه پیش؟ در regex نیست. فیلد نام میانی؟ اسکریپت فقط الگوهای نام و نام خانوادگی را مدیریت می‌کند.

بدون ثبات. مجموعه داده A با script_v1 پردازش شد. مجموعه داده B از script_v3 استفاده کرد. مجموعه داده C توسط عضو تیم دیگری پردازش شد. مجموعه آموزشی ادغام‌شده سه روش مختلف دارد. یک DPO نمی‌تواند آن را تأیید کند.

بدون رد حسابرسی. اسکریپت اجرا شد. چه چیزی تغییر داد؟ کدام موجودیت‌ها پیدا شدند؟ بدون سوابق پردازش، انطباق غیرممکن است. وقتی حسابرس DPA می‌پرسد «چطور می‌دانید این مجموعه آموزشی تمیز است؟»، پاسخ «اسکریپت پایتون اجرا کردیم» کافی نیست.

انحراف مدل. الگوهای regex که در ۲۰۲۳ کار می‌کردند، فرمت‌های شناسه جدید ۲۰۲۴ را از دست می‌دهند. اسکریپت‌ها خودشان به‌روزرسانی نمی‌شوند.

پیاده‌سازی پردازش دسته‌ای

یک تیم هوش مصنوعی بهداشتی نیاز دارد ۸٬۰۰۰ پرونده بیمار را ناشناس کند. تیم آمریکایی نیاز به دسترسی از دفتر اروپایی دارد. Schrems II اعمال می‌شود — سوابق با منشأ اروپایی بدون تضمین‌های مناسب به زیرساخت آمریکایی نمی‌توانند بروند.

مسیر سنتی: یک مهندس داده اسکریپت سفارشی می‌نویسد. دو تا سه روز توسعه. یک تا دو روز بررسی DPO. یک روز تکرار. مجموع: چهار تا شش روز. پروژه ML به تأخیر می‌افتد.

مسیر پردازش دسته‌ای:

  1. ۸٬۰۰۰ رکورد را به عنوان CSV صادر کنید
  2. برای پردازش دسته‌ای آپلود کنید
  3. نوع موجودیت‌ها را تنظیم کنید: PERSON، EMAIL_ADDRESS، PHONE_NUMBER، US_SSN، MEDICAL_RECORD، DATE_OF_BIRTH، LOCATION
  4. روش را انتخاب کنید: Replace (مقادیر مصنوعی واقعی را جایگزین می‌کند تا ساختار حفظ شود)
  5. پردازش: ۴۵ دقیقه برای ۸٬۰۰۰ رکورد
  6. CSV تمیز را دانلود کنید
  7. DPO متادیتای پردازش را بررسی می‌کند: ۲ ساعت
  8. DPO تأیید می‌کند. انتقال انجام می‌شود.

زمان کل: ۴۵ دقیقه به علاوه ۲ ساعت بررسی DPO. به جای چهار تا شش روز.

برای آموزش اقدامات EU AI Act، راهنمای آموزش EU AI Act را ببینید.

Replace در مقابل Redact برای استفاده ML

روش ناشناس‌سازی برای کیفیت مدل اهمیت دارد.

Redact PII را با توکنی مانند [REDACTED] جایگزین می‌کند. این برای مدل‌های تشخیص PII کار می‌کند. برای سایر وظایف — احساسات، طبقه‌بندی، توصیه — ضرر می‌زند.

Replace «John Smith» را با «David Chen» جایگزین می‌کند. «jsmith@company.com» را با «dchen@synthetic.com» جایگزین می‌کند. ساختار سالم می‌ماند. مدل از زمینه واقعی یاد می‌گیرد.

برای مجموعه‌های آموزشی ML، Replace انتخاب درست است. مدل مقادیر جعلی را یاد نمی‌گیرد. الگوهای اطراف آنها را یاد می‌گیرد. این چیزی است که اهمیت دارد.

Schrems II و انتقال‌های فرامرزی

حکم Schrems II (CJEU، ۲۰۲۰) سپر حریم خصوصی EU-US را باطل کرد. سوابق با منشأ اروپایی نمی‌توانند بدون تضمین‌های انتقال مناسب به زیرساخت ML آمریکایی بروند.

سه تضمین اصلی عبارتند از:

  • بندهای قراردادی استاندارد با ارزیابی تأثیر انتقال
  • قوانین شرکتی الزام‌آور برای انتقال‌های درون گروه شرکتی
  • معافیت برای سوابق ناشناس — فایل‌های ناشناس‌سازی‌شده دیگر تحت GDPR شخصی نیستند و از قوانین انتقال معاف هستند

برای تیم‌هایی که از زیرساخت آمریکایی با مجموعه‌های با منشأ اروپایی استفاده می‌کنند، ناشناس‌سازی صحیح مشکل Schrems II را حذف می‌کند. مجموعه داده تمیز شخصی نیست. می‌تواند آزادانه جابجا شود.

آنچه به DPO می‌دهید

هنگام ارسال مجموعه آموزشی تمیز برای تأیید DPO، این پنج مورد را وارد کنید:

  1. توضیح منبع. مجموعه داده اصلی چه بود؟ هدف جمع‌آوری چه بود؟ چه دسته‌های شخصی داشت؟
  2. پیکربندی ناشناس‌سازی. کدام نوع موجودیت‌ها تشخیص داده و جایگزین شدند؟ چه روشی اعمال شد؟
  3. متادیتای پردازش. تعداد موجودیت‌ها در هر رکورد، امتیازات اطمینان، کل رکوردهای پردازش‌شده.
  4. ارزیابی ریسک باقی‌مانده. چه احتمالی وجود دارد که هر فردی دوباره شناسایی شود؟
  5. استفاده مورد نظر. چه مدلی آموزش خواهد دید؟ هدف آموزش چیست؟

پردازش دسته‌ای موارد ۲ و ۳ را به صورت خودکار ارائه می‌دهد. موارد ۱، ۴، و ۵ از دانشمند داده می‌آیند.

آنچه به دست می‌آورید

مجموعه‌های ML مطابق GDPR بدون اسکریپت‌های سفارشی، بدون تأخیرهای چند روزه، و بدون از دست دادن کیفیت مدل قابل دستیابی هستند.

روش Replace خصوصیات زبان طبیعی مهم برای آموزش NLP را حفظ می‌کند. جزئیات شخصی که ریسک GDPR ایجاد می‌کنند را حذف می‌کند.

۴۵ دقیقه پردازش دسته‌ای تفاوت بین بررسی انطباق تأخیرافتاده و تأیید ساده DPO است.

منابع

آماده‌اید داده‌های خود را محافظت کنید؟

شروع به ناشناس‌سازی PII با بیش از ۲۸۵ نوع نهاد در ۴۸ زبان.

About this page

We update this page when our platform or the law changes.

Read our founder note for how we work.

Each change shows up in the timestamp at the top.

Related reading

We follow these rules

  • GDPR (EU 2016/679).
  • ISO/IEC 27001:2022.
  • NIS2 (EU 2022/2555).
  • HIPAA safe harbor under 45 CFR § 164.514(b)(2).

Our promise

We do not sell your data.

We do not train models on your text.

We store your files in Germany.

You can delete your account at any time.

You own your work.

Where we run

Our servers live in Falkenstein, Germany.

We use Hetzner. They hold ISO 27001 certification.

All data stays in the EU.

Backups run every day.

Need help?

Email support@anonym.legal.

We reply within one business day.

How we test

We run a full check suite on every release.

Each surface gets its own sweep script and report.

Human reviewers spot-check the output each week.

We track recall and precision on a labelled set.

Bad runs block the deploy.

What we never do

  • We never sell your information to third parties.
  • We never train models on what you upload.
  • We never keep your work after you delete it.
  • We never share keys with any outside firm.
  • We never run ads inside the product.

Plans in plain words

We sell credits, not seats.

One credit covers one short job.

Long jobs use a few credits each.

You can top up at any time.

Unused credits roll over each month.

Read the plans page for current rates.

Who built this

A small team of engineers and lawyers built this.

We ship from Europe and work in the open.

Our founder note spells out why we started.

Where to start

How the parts fit

A browser add-on cleans text inside Chrome.

A Word plug-in handles drafts in Office.

A small desktop tool works on whole folders.

An agent protocol link feeds large models safely.

All four share one core engine and one rule set.

Words from our team

We started this work after a lunch about cookies.

One friend kept getting odd ads on her phone.

We asked why a court file leaked through a draft.

We sketched the first build on a napkin that week.

By month three we had a tiny demo for a friend.

She used it on her first case the next day.

Common questions we hear

Can the tool read scanned PDFs? Yes, with OCR.

Does it work on long files? Yes, in small chunks.

Can I roll my own rule set? Yes, save it as a preset.

Does it run offline? The desktop build runs offline.

Do you keep my files? No, the cloud build wipes after each run.

Will it learn from my work? No, we never train on inputs.

A short tour of the workflow

Upload a file or paste a snippet of prose.

Pick the entities you want gone from the draft.

Choose a method: replace, mask, hash, encrypt, or redact.

Press run and watch the side panel show each hit.

Skim the result and tweak any rule that misfired.

Save the cleaned file or send it to a teammate.