GDPR-bezpečný pipeline údajov: PII anonymizácia pred...

GDPR-bezpečný pipeline údajov: PII anonymizácia pred skladovaním v dátovom sklade

Moderný tím analýzy údajov čelí dilemmu:

1. Zbierané údajov: CRM, email, web analytics, mobilní aplikácie, podporu ticketů, verejné zdroje
2. Centralizácia: Presuňte všetko do BigQuery / Snowflake / Redshift aby ste mohli "vidieť údajov"
3. Analýza: Výskumný tím chce queries ako "Kolko zákazníků z California s viacerými ako 10 objednávkami zbankrotovalo?"
4. GDPR problém: Ako to urobíte bez toho, aby ste zanechali osobné údaje (meno, email, adresu, telefón) nevšimnnuté v sklade?

Odpovedí "Chytré query" = zlé. Údaje sú v sklade. Bezpečnostní páchať. Interní analytik s prístupom sa môže vymazať a stáhnuť všetko.

Riešenie: PII anonymizácia pipeline pred vstupem do skladu.

Reálny prípad: Zástupcovský Šíření Údajov

Es-shop s 100k zákazníci, spravuje:

• E-mail: Gmail, Outlook, YandexMail
• Adresu: Firemní a domácí adresy
• Telefón: Mobilný, fixný, IT hotlína
• Platby: Číslo kreditnej karty, IBAN, PayPal
• Sociálne: LinkedIn, Facebook, Twitter ID
• Zdraví: Lékařský profil ("Čekám na operáciu", "Mám alergie na ...") [z chat]

Aktuálny pipeline:

CRM (Salesforce) 
  ↓ Nightly ETL → Redshift (BigQuery)
  ↓ Analytici s SELECT * FROM customers
  → "Kolko má 45+ let, z Paríž, s diagnózou rakovina?"

Problém: Redshift teraz ma 100k záznamov s emaily, domácimi adresami, diagnózami. Počas:

• Bezpečnostného prelomu (hacker kopíruje 100k záznamov)
• Exfiltraci z interného ľúdí (výpoveda DBA)
• Query logů (vyšetrovateľ / súd

GDPR: Pokuta až 20 milión EUR za neošetretú tranzit PII.

Správny pipeline: PII-anonymizované Záznam

CRM (Salesforce) 
  ↓ Extrakt (SQL): customer_id, email, address, phone, health_notes
  ↓ Anonymizácia proxy: 
       - email  → [HASHED_EMAIL_1a2b3c]
       - address → [HASHED_ADDRESS_d4e5f6]
       - phone  → [HASHED_PHONE_7g8h9i]
       - health_notes → [REDACTED]
  ↓ Redact + Load (PII-cleaned records) → Redshift
  ↓ Analytici s SELECT * FROM customers_anonymized
  → "Kolko HASHED_EMAIL records s viacerými ako 10 objednávkami?"

Výhoda: Redshift nikdy nevidí "john@gmail.com" alebo "45 Rue de la Paix". Iba hash hodnoty a anonymizované zdravotné poznámky.

Ako Vytvoriť Pipeline

Krok 1: Klasifikácia PII

Poviniť každý stĺpec:

Krok 2: Dynamický Anonymizácia

SQL + Python proces:

-- Step 1: Extract from CRM
SELECT customer_id, email, phone, address, health_notes, purchase_date, purchase_amount
FROM salesforce_customers
WHERE updated_at > CURRENT_DATE - 1;

-- Step 2: Apply anonymization (Python)
import hashlib
import json

records = execute_query(...)
anonymized = []

for record in records:
    anon_record = {
        "customer_pseudo": hashlib.sha256(
            str(record['customer_id']).encode()
        ).hexdigest()[:16],
        "email_pseudo": hashlib.sha256(
            record['email'].lower().encode()
        ).hexdigest()[:16],
        "phone_pseudo": hashlib.sha256(
            record['phone'].encode()
        ).hexdigest()[:16],
        "address_city": record['address'].split(',')[-1],  # Only city
        "purchase_date": record['purchase_date'],
        "purchase_amount": record['purchase_amount'],
        "health_redacted": "[REDACTED]" if record['health_notes'] else None
    }
    anonymized.append(anon_record)

-- Step 3: Load into Redshift
COPY customers_anonymized FROM stdin;

Krok 3: Audit Trail

Záznamujte:

• Ktoré stĺpce boli anonymizované
• Ktorý algoritmus (SHA-256, AES-256, Redact)
• Kedy
• Kto inicioval
• Výsledok (X riadkov načítaných, Y riadků anonymizovaných, Z chýb)

{
  "run_id": "etl-2025-03-08-001",
  "timestamp": "2025-03-08T02:00:00Z",
  "source": "salesforce_customers",
  "target": "redshift.customers_anonymized",
  "techniques": {
    "customer_id": "SHA256_HASH",
    "email": "SHA256_HASH",
    "phone": "SHA256_HASH",
    "address": "CITY_ONLY",
    "health_notes": "REDACTION"
  },
  "results": {
    "rows_extracted": 100000,
    "rows_anonymized": 100000,
    "rows_failed": 0,
    "execution_time_seconds": 245
  },
  "initiated_by": "etl-service@company"
}

Ako Kontrola Re-identifikovateľnosť

Pre GDPR audit, musíte dokázať, že anonymizácia je úplná. Test:

# After anonymization, verify:
def verify_anonymization(redshift_table):
    results = {}
    
    # Test 1: No plaintext emails
    email_check = query(f"""
        SELECT COUNT(*) 
        FROM {redshift_table} 
        WHERE email LIKE '%@%'  -- Regex for email pattern
    """)
    results['plaintext_emails'] = email_check[0][0]  # Should be 0
    
    # Test 2: No plaintext phone numbers
    phone_check = query(f"""
        SELECT COUNT(*) 
        FROM {redshift_table} 
        WHERE phone REGEXP '^\\+?[0-9]{7,}$'
    """)
    results['plaintext_phones'] = phone_check[0][0]  # Should be 0
    
    # Test 3: No addresses
    address_check = query(f"""
        SELECT COUNT(*) 
        FROM {redshift_table} 
        WHERE address IS NOT NULL
    """)
    results['plaintext_addresses'] = address_check[0][0]  # Should be 0
    
    # Test 4: Hash consistency (same email_id → same email_hash)
    consistency = query(f"""
        SELECT email_pseudo, COUNT(DISTINCT customer_pseudo) 
        FROM {redshift_table} 
        GROUP BY email_pseudo 
        HAVING COUNT(DISTINCT customer_pseudo) > 1  -- Should be 0 rows
    """)
    results['hash_inconsistency'] = len(consistency)  # Should be 0
    
    return results

verify_result = verify_anonymization('customers_anonymized')
if all(v == 0 for v in verify_result.values()):
    print("✓ Anonymization verified")
else:
    raise Exception(f"Anonymization failed: {verify_result}")

Kde pipeline Zlyháva

1. Neúplná PII Klasifikácia: "Poznámka zo supportu" obsahuje "Em aj ho som bol v New York University" - Tým, že identifikátor. Pokiaľ redaktujete len konkrétne polia, zmeškáte text.

   Riešenie: Obsah-aware anonymizácia (NER + klasifikácia).

2. Slabé Hashování: Ak ste hešo SHA-256 bez soli a výstup je kratší ako 16 znaků, je to ľahko rozbitý slova-guessing "john@gmail.com" = definite konkrétna hodnota.

   Riešenie: Použiť HMAC-SHA-256 s privátnym kľúčom.

3. Leakage Při Chyby Procesu: "Anonymizácia prebehla, ale jedna csatna bola vypnutá. Nahájme dáta zo vzorky," - Polovičko anonymizované zaznamy.

   Riešenie: Transactional pipeline (all-or-nothing).

4. Interné Požiadavky: "Vedľa potrebujeme email, aby som mohol poslať správu obchodný zástup." Pracovníci tlačia na to, aby anonymizácia bola vypnutá.

   Riešenie: Audit (výjimka vyžaduje schválenie generálneho riaditeľa), Maskovanie na jednotlivca (nielen v sklade).

Súhrn

GDPR-bezpečný dátový pipeline:

1. Klasifikovať: Ktorý stĺpec je PII?
2. Anonymizovať: SHA-256 hešovanie, redakcia, šifrovanie podľa typu
3. Audit: Logujte všetko
4. Overovať: Testovanie na re-identifikovateľnosť
5. Vynúťte: Pracovníci nemôžu zmeniť pipeline bez žiadosti + schválenia

Výsledok: Dátový sklad bez PII, analytici môžu pracovať bez právnej strachu, GDPR auditor je spokojný.