Proč vlastní PII nástroje selhávají při compliance auditech
GDPR vyžaduje důkaz. Musíte prokázat, že odstraňování PII bylo prováděno stejným způsobem vždy. Auditoři DPA to kontrolují. Chtějí vidět jasnou a konzistentní metodu použitou napříč všemi daty.
Vlastní Presidio má zde skutečný problém. Nejde o problém konfigurace. Jde o základní omezení vlastních NLP nástrojů.
Co je konfigurační drift?
Vlastní Presidio běží ve vývojovém, přípravném a produkčním prostředí. Každé z nich se může chovat odlišně. Stejný vstup tedy může v každém prostředí produkovat jiné výsledky.
Tomu se říká konfigurační drift. Má čtyři hlavní příčiny.
Drift verzí modelu
Modely spaCy jsou verzovány. Modely en_core_web_lg 3.4.4 a en_core_web_lg 3.5.1 byly trénovány na různých datech. Používají také různé architektury. Stejný dokument tedy může s každou verzí dávat různé výsledky NER.
Běžné nastavení vypadá takto:
- Vývoj:
en_core_web_lg 3.4.4— nainstalováno na začátku projektu - Přípravné prostředí:
en_core_web_lg 3.5.0— aktualizováno při rutinní práci - Produkce:
en_core_web_lg 3.5.1— aktualizováno při bezpečnostní záplatě
To jsou tři nastavení. Tři verze modelu. Tři různé výsledky detekce. Testy v přípravném prostředí projdou. Ale produkce spouští jiný model. Mezera tedy zůstává skryta.
Drift verzí závislostí
spaCy 3.4.x a 3.5.x se liší v tom, jak dělí věty. Tato změna ovlivňuje, jak jsou nalézána jména v blízkosti hranic vět. Tyto změny jsou v poznámkách k vydání spaCy. Ale většina týmů je nekontroluje z hlediska dopadu na PII.
Konfigurační drift
Prahové hodnoty skóre nastavené ve vývojovém prostředí nemusí být přeneseny do produkce. Vlastní seznamy slov se mohou také lišit mezi nastaveními. Tyto mezery jsou běžné. Zřídka se sledují. Viz náš průvodce compliance GDPR pro to, co auditoři hledají.
Hardwarové rozdíly
Výpočty v NLP modelech nejsou identické napříč všemi CPU a GPU. Spotřebitelský notebook a server mohou dávat mírně odlišné výsledky skóre. Některá jména tedy mohou být nalezena na jednom stroji, ale ne na druhém.
Skutečné zjištění z auditu
Banka testovala své vlastní nastavení Presidia.
Testovací prostředí: Presidio se spaCy 3.4.4 na přípravném clusteru. Živé prostředí: Presidio se spaCy 3.5.1 na produkčním clusteru.
Spustili stejnou sadu dokumentů přes obě prostředí. Pak porovnali výsledky. Zjištění: 3 % dokumentů měla odlišné výsledky odstraňování PII. Některá jména byla zachycena v přípravném prostředí, ale ne v produkci. Některá měla odlišné detekované textové rozsahy.
Zjištění z auditu bylo přímočaré: „Firma nemůže prokázat konzistentní použití technických opatření pro odstraňování PII kvůli rozdílům ve výstupu detekce specifickým pro dané nastavení.”
Článek 32 GDPR vyžaduje přiměřená technická opatření. Pravidla EDPB pro odstraňování PII vyžadují konzistentnost a opakovatelnost. Míra 3 % napříč 100 000 dokumenty měsíčně znamená 3 000 dokumentů s nekonzistentními výsledky každý měsíc. Některé jsou falešně negativní. PII, které by přípravné prostředí zachytilo, zůstává v živém výstupu. To je compliance selhání.
Banka pak přešla na spravovaný SaaS. Zjištění z auditu bylo uzavřeno. Viz naše stránka bezpečnosti a compliance pro to, jak spravovaná nastavení toto řeší.
Proč se spravované služby liší
Spravovaná služba provozuje jednu verzi enginu. Všichni uživatelé provozují stejnou verzi ve stejnou dobu. Aktualizace modelů se aplikují z jednoho místa. Konfigurace je také spravována z jednoho místa s úplným protokolem změn. Hardware uživatele neovlivňuje výsledky.
Sama sada dokumentů zpracovaná dnes tedy dává stejný výsledek příští měsíc. Pokud se verze enginu změnila, tato změna je zaznamenána a verzována.
Rozdíl v auditním záznamu je klíčový.
Auditní záznam vlastního hostingu:
- „Použito Presidio 2.2.35 se spaCy
en_core_web_lg 3.5.1na Ubuntu 22.04.” - Byla to stejná verze jako v přípravném prostředí? Neznámo.
- Změnil se model od doby, kdy byl tento dokument zpracován? Neznámo, pokud nebylo sledováno.
- Je prahová hodnota skóre stejná jako při testování? Záleží na správě konfigurace.
Auditní záznam spravované služby:
- „Použito API anonym.legal, verze enginu 4.22.1, v 2025-03-15T14:22:31Z.”
- Stejná verze pro všechny uživatele? Ano.
- Změnila se? Verze enginu jsou připnuty. Verze 4.22.1 vždy znamená stejný engine.
- Je konfigurace opakovatelná? Ano. ID presetu je zaznamenáno. Konfigurace v dané verzi může být načtena.
Spravovaný záznam je jasný. Vlastní záznam vyžaduje pečlivé sledování, které většina týmů přeskočí.
Jak zlepšit konzistenci vlastního hostingu
Pokud je vlastní hosting vyžadován, můžete drift snížit čtyřmi kroky.
Za prvé, připněte verze modelů. Uzamkněte přesné verze modelů ve všech souborech nasazení. Zablokujte automatické aktualizace. Sledujte verze ve správě zdrojového kódu.
Dále, zmrazte obrazy kontejnerů. Sestavte obrazy Dockeru s přesnými verzemi modelů zabudovanými uvnitř. Označte každý obraz verzí modelu, verzí Presidia a datem. Neaktualizujte základní obrazy bez předchozího testování.
Také uchovávejte konfiguraci v kódu. Uložte veškerá nastavení Presidia v souborech sledovaných ve správě zdrojového kódu. To zahrnuje detektory, prahové hodnoty skóre a aktivní jazyky. Nasazujte konfiguraci spolu s aplikací.
Nakonec testujte napříč nastaveními. Po jakékoli aktualizaci spusťte pevnou sadu testovacích dokumentů přes nové nastavení. Porovnejte výsledky s uloženou referencí. Automatizujte tuto kontrolu. Viz FAQ pro časté otázky o automatizovaném regresním testování PII.
Tyto kroky pomáhají. Ale také přidávají práci. Spravovaná služba poskytuje stejnou konzistenci bez dalšího úsilí.
Závěr
Konzistentní odstraňování PII se neobjevuje v produktových listech. Ale stává se kritickým, když auditoři požadují důkazy.
Bez aktivní péče vlastní PII nástroje driftují. Změny verzí přidávají tiché mezery. Ty se projeví jako zjištění z auditů.
Spravované služby poskytují konzistenci jako výchozí stav. Engine běží z jednoho místa. Nastavení uživatelů neovlivňuje výsledky. Pro týmy zaměřené na compliance je to přímá výhoda.