BDAR saugus srautas: ADA anonimizuokite prieš saugojima
Atnaujinta 2026 m.
Pažymėjote ADA stulpelius dbt. Nustatėte dinaminį maskavimą Snowflake. Jaučiatės BDAR atitinkantys.
Jūsų šaltinio turinys vis dar patenka i saugyklą neužmaskuotas. Maskavimas vykdomas užklausos metu. Neužmaskuotas turinys sėdi jūsų žaliavinio schemos dalyje. Kiekvienas, turintis prieigą prie žaliavinio schemos, gali ji perskaityti. Jūsų dbt modeliai buvo paleisti prieš maskavimo politikų sukūrimą. Seni įkrauti lentelės niekada nebuvo užmaskuoti.
Atstumas tarp "turime maskavimo politikas" ir "mūsų srautas yra saugus" yra ten, kur vyksta BDAR pažeidimai.
Kaip anonym.legal palaiko BDAR, žr. mūsų atitikties apžvalga.
Kaip ELT srautai atskleidžia ADA
Issukimas-Krovimas-Transformavimas (ELT) modelis dabar yra norma. Pirma jis krauna šaltinio duomenis i saugyklą. Transformacijos ateina vėliau. Žingsniai atrodo taip:
- Issukimas: Šaltinio sistemos eksportuoja visus laukus. Salesforce CRM, Stripe mokėjimai, Intercom palaikymas - viskas išeina.
- Krovimas: Šaltinio duomenys patenka i saugyklos įkrovimo schemą. Snowflake, BigQuery, Redshift veikia vienodai. Įtraukiami visi ADA laukai.
- Transformavimas: dbt modeliai valo ir sujungia duomenis analizei.
Įkrovimo sluoksnis laiko pilną asmeninę informaciją. Vardai, el. pašto adresai, telefono numeriai, mokėjimų detalės, palaikymo bilieto tekstas. Daugelyje komandų inžinieriai ir analitikai turi žaliavinio schemos prieigą. Jie gali užklausti šias lenteles bet kuriuo metu.
Žymomis pagristas maskavimas Snowflake padeda užklausos metu. Bet tik tinkamai nustatytiems tolimesniems modeliams. Jis neužmaskuoja senų įkrautų lentelių. Jis neblokuoja tiesioginių schemos užklausų. Kiekvienas modelis ir prietaisų skydelis turi buti pažymėtas. Ta naštą auga augant schemai.
Anonimizuokite prieš krovimą
ADA anonimizavimas srautų lygmeniu pašalina žaliavinio sluoksnio riziką. Darykite tai prieš turiniui patenkant i saugyklą.
ETL metodas (anonimizavimas prieš krovimą):
- Issukimas iš šaltinio sistemų
- Paleidimas per anonimizavimo žingsnį
- Švarios išvesties įkrovimas i saugyklą
Saugykla niekada negauna neužmaskuoto ADA. Įkrovimo schema laiko tik švarius duomenis. Tolimesni modeliai, prietaisų skydeliai ir tiesioginės užklausos veikia su švariu rezultatu.
Turite du pagrindinius kelius.
1 parinktis - API integracija:
Sistemoms su webhook arba srautiniais eksportais nukreipkite įrašus per anonym.legal API pirmiausia. Palaikymo bilietai, paliekantyIntercom, eina per API prieš saugyklą. Stripe eksportai daro tą patį.
POST /api/anonymize
{
"text": "Klientas Jonas Jonaitis (jonas@pavyzdys.lt) pranešė...",
"entities": ["PERSON", "EMAIL_ADDRESS", "PHONE_NUMBER"],
"method": "replace"
}
2 parinktis - Partijų išankstinis apdorojimas:
Dieniniams arba savaitiniams CSV/JSON failų eksportams, paleiskite failus per partijų apdorojimą prieš krovimą.
Airflow DAG struktūra:
extract_task >> anonymize_batch_task >> load_to_warehouse_task
Anonimizavimo užduotis įkelia failus ir grąžina švaras versijas. Krovimo užduotis tvarko likusį darbą.
Subprocesorių ir duomenų srautų detalems žr. mūsų saugumo praktikų puslapis.
Ką dbt stulpelių žymos daro ir nedaro
dbt leidžia žymėti ADA stulpelius:
models:
- name: stg_customers
columns:
- name: email
tags: ['pii', 'email']
- name: full_name
tags: ['pii', 'personal_data']
Žymos leidžia:
- Dokumentuoti, kur gyvena ADA
- Suaktyvinti tolimesnes maskavimo politikas (reikalauja saugyklos lygmens sąrankos)
- Stebėti kilmę su įrankiais kaip Secoda
Žymos nedaro:
- Neužmaskuoja įkrautų lentelių žaliavinio schemoje
- Neblokuoja tiesioginių lentelių užklausų
- Neanonimizuoja duomenų krovimo metu
- Retroaktyviai neužmaskuoja senų duomenų
dbt stulpelių žymos yra valdymo įrankis. Jos parodo, kur yra ADA. Jos netaiko "tinkamų techninių priemonių", kurių reikalauja BDAR 32 straipsnis.
Snowflake maskavimo spraga
Snowflake dinaminis maskavimas slepia stulpelių turinį nuo vartotojų užklausos metu. Tai stiprus kontrolės mechanizmas gamybiniam naudojimui. Bet jis turi aiškių ribų.
Pagrindinės ribos:
- Kiekvienas naujas stulpelis reikalauja aiškios politikos
- Schemos pokyčiai gali palikti naujus stulpelius neužmaskuotus, kol neatnaujinsite politikų
- SYSADMIN ir ACCOUNTADMIN vaidmenys gali apeiti maskavimą
- Importo darbai dažnai vykdomi su aukštais teisėmis, kurie praleida maskavimą
- Seni duomenys, įkrauti prieš politikų nustatymą, saugomi atvirąja forma - politikos vykdomos skaitymo, ne rašymo metu
Maskavimas užklausos metu nepakanka. Duomenys turi buti švari prieš saugojimą.
Atitikties dokumentavimas
BDAR atskaitomybės taisyklė reikalauja įrodymų. Žodžiai nepakanka. Inžinerinėms komandoms tai reiškia rašytinus įrašus.
Apdorojimo veiklų registrai (ROPA): Dokumentuokite, kad klientų informacija yra anonimizuojama prieš įkraunant i analitikos saugyklą. Anonimizavimo žingsnis yra apdorojimo veikla pagal BDAR.
Techninių apsaugos priemonių pastabos: Užrašykite, kuriuos esybių tipus taikote savo srautuose. Pažymėkite naudojamą anonimizavimo metodą. Partijų vykdymo žurnalai suteikia tai nemokamai.
Duomenų kilmė: Secoda arba dbt integruota kilmė gali parodyti, kad šaltinio lentelės teka per anonimizavimo žingsnį prieš pasiekdamos analitikos modelius. Tai jūsų audito takelis.
Pardavėjų registras: Anonimizavimo paslauga yra subprocesorius. Jų DPA ir privatumo politika turi buti jūsų pardavėjų registre.
Diegimo žingsniai
Dbt ir Snowflake srautui:
1 žingsnis: Audituokite savo žaliavinį sluoksnį
Raskite, kurios lentelės laiko asmeninę informaciją. Užklauskite savo dbt stulpelių žymas arba katalogą ADA žymėtoms lentelėms.
2 žingsnis: Nustatykite anonimizavimo apimtį
Kiekvienai šaltinio lentelei nuspręskite, kurie stulpeliai laiko ADA. Tada nuspręskite, kuriems reikia anonimizavimo, o kuriems - pseudonimizavimo. Palaikymo bilieto tekstas: anonimizuokite. Užsakymo ID: pseudonimizuokite, kad išsaugotumėte sujungimo raktus. Laiko žyma: palikite kaip yra laiko eilučių analizei.
3 žingsnis: Pasirinkite diegimo kelią
Maža komanda su partijų eksportais: naudokite partijų failų apdorojimą prieš krovimą. Turima inžinerijos komanda: sukurkite API integraciją Airflow arba Prefect.
4 žingsnis: Testuokite ir tikrinkite
Prieš paleidimą paleiskite anonimizavimą pavyzdyje. Patikrinkite, ar dbt modeliai vis dar veikia. Kai kurie modeliai sujungiami el. paštu. Tiems reikia nuoseklių pakeitimo verčių. Pseudonimizavimas išsaugo sujungimo raktus. Redakcija juos laužo.
5 žingsnis: Tvarkykite senas žaliavines lenteles
Turinys, įkrautas prieš anonimizavimą buvo taikomas, reikalauja retroaktyvaus apdorojimo. Eksportuokite, anonimizuokite, perkraukite. Tai vienkartinė užduotis kiekvienai lentelei.
Išvada
Žymomis pagristas maskavimas parodo, kur yra ADA. Jis nesustabdo vartotojų, turinčių schemos prieigą, nuo jo skaitymo. Tikrai BDAR atitikčiai ADA turi buti švarūs prieš pasiekiant saugyklą. Tai padaro įkrovimo sluoksnį tokį pat saugų kaip gamybinis sluoksnis.
Tai sunkiau nei stulpelių žymėjimas. Bet tai reiškia "tinkamos techninės priemonės".