GDPR-turvalise andmete paigutus: Isikuandmete anonüümistamine enne andmete laos jõudmist
Te olete märginud oma isikuandmete veerud dbt-s. Teie dünaamiline andmete maskeerimise poliitika on konfigureeritud Snowflake'is. Te tunnete, et olete GDPR nõuetekohasus.
Teie toorkatse andmed tabavad laos endiselt maskeerimata. Maskeerimise poliitika rakendab päringu ajal — kuid toorkatse, maskeerimata andmed on olemas teie toortasandis, kättesaadavad kõigile, kellel on toortasandi juurdepääsu. Teie dbt mudelid käitati enne maskeerimise poliitika rakendamist, ja ajaloolised toorkatse andmed ei olnud kunagi maskeeritud.
Lünk "meil on maskeerimise poliitika" ja "meie andmed on tegelikult kaitstud" vahel on koht, kus toimuvad GDPR rikkumised.
Kuidas ELT paigutused tekitavad isikuandmete avalikuks tegemist
Extract-Load-Transform (ELT) muster — domineeriv modernes andmete insenerotsuses — laadib toorkatse andmed lattu esmalt, seejärel teisendab neid:
- Ekstrahteerimine: Lähte süsteemi andmed (Salesforce CRM, Stripe maksed, Intercom tugi) ekstraheeritakse kõigi väljadega
- Laadimine: Toorkatse andmed laaditakse lattu toortasandile — Snowflake, BigQuery, Redshift — sealhulgas kõik isikuandmete väljad
- Teisendamine: dbt mudelid käituvad, et puhastada, ühendada ja agregeerida andmeid analüütika kasutamiseks
Toorana tasand sisaldab maskeerimata, täielikke isikuandmeid: klient nimed, meiliaadressid, telefoninumbrid, makseteavet, tugi pileti sisu. Kõigil, kellel on juurdepääs toorsel tasandil — ja paljudes organisatsioonides, see on lai hulk andmete inseneersid ja analüütikuid — saab otseselt päringuid teha...