Rzeczywisty koszt „darmowego” wykrywania PII
„To jest darmowe” nie jest analizą kosztów. To cena licencji — jeden z wielu czynników.
Microsoft Presidio kosztuje 0 EUR do pobrania. Oprogramowanie jest otwarte. Jednak uruchomienie go w firmie ubezpieczeniowej kosztuje ponad 13 000 EUR w pierwszym roku. Ta różnica to czas pracy inżynierów.
Czego wymaga wdrożenie produkcyjne
Przygotowanie narzędzia do produkcji zajmuje 40–80 godzin. Oto, gdzie ten czas jest spędzany.
Konfiguracja Docker: 4–8 godzin. Narzędzie używa kilku kontenerów. Serwis analizatora, serwis anonimizatora i opcjonalny redaktor obrazów. Sprawienie, żeby komunikowały się ze sobą, jest trudne. Zgłoszenia na GitHubie pokazują, że to powszechny punkt awarii.
Konfiguracja Python: 2–4 godziny. Biblioteki mają rygorystyczne reguły wersjonowania. Konflikty są częste — szczególnie między wersjami modeli spaCy a Pythonem 3.8/3.9/3.10. GitHub pokazuje setki otwartych zgłoszeń na ten temat.
Pobieranie modeli językowych: 2–4 godziny. Modele spaCy mają od 300 MB do 1,4 GB każdy. Konfiguracja pięciu języków potrzebuje 1,5–7 GB przestrzeni dyskowej. Błędy ładowania modeli należą do najczęstszych problemów zgłaszanych przez użytkowników.
Niestandardowe rozpoznawacze: 8–16 godzin. Domyślny zestaw obejmuje około 40 typów encji. Większość to identyfikatory używane w USA. Wdrożenia w UE wymagają europejskich krajowych dokumentów tożsamości. Zespoły medyczne potrzebują formatów dokumentacji medycznej. Każdy typ wymaga kodu Python, konfiguracji YAML i testów.
Konfiguracja API: 4–8 godzin. Konfiguracja produkcyjna obejmuje limity czasu, uwierzytelnianie, ograniczenia szybkości i logowanie. Oficjalna dokumentacja jest skromna. Większość zespołów szuka odpowiedzi w wątkach zgłoszeń na GitHubie.
Logi audytu: 4–8 godzin. GDPR wymaga zapisów przetwarzania danych. Narzędzie domyślnie nie ma dziennika audytu. Zespoły muszą napisać go jako niestandardowy kod.
Dokumentacja zespołu: 4–8 godzin.
Łączna wstępna konfiguracja: 28–52 godziny przy 100 EUR/h = 2 800–5 200 EUR.
Roczne koszty konserwacji
Narzędzie dostarcza aktualizacje 2–4 razy w roku. Ważniejsze wydania zmieniały API w sposób niekompatybilny. Nadążanie oznacza śledzenie zmian, testowanie na stagingu i wdrażanie.
Aktualizacje modeli spaCy również dodają pracy. Nowe wersje modeli wymagają ponownego pobrania i weryfikacji dokładności przed uruchomieniem produkcyjnym.
Konflikty zależności Python wracają. Czysta konfiguracja dziś może się posypać po wydaniu łatki bezpieczeństwa w przyszłym miesiącu.
Monitorowanie jest ciągłe. Kondycja kontenerów, wycieki pamięci i procedury restartowania wymagają regularnej uwagi. Modele spaCy są pamięciochłonne.
Łączna roczna konserwacja: 60–120 godzin przy 100 EUR/h = 6 000–12 000 EUR.
Przypadek studyjny z życia
Zespół ds. zgodności w firmie ubezpieczeniowej postanowił przetwarzać dokumenty roszczeń. Mieli dwóch młodszych inżynierów danych i brak wsparcia DevOps.
Tydzień 1. Dwa główne kontenery nie mogły się ze sobą komunikować. Trzy dni naprawy z pomocą GitHuba.
Tydzień 2. Modele nie ładowały się w środowisku produkcyjnym. Konfiguracja pamięci różniła się od środowiska deweloperskiego. Dwa dni diagnostyki, jeszcze jeden na naprawę.
Tydzień 3. Niestandardowa reguła dla brytyjskiego numeru National Insurance działała na testach, ale na prawdziwych dokumentach generowała fałszywe alarmy. Kolejne dwa dni dostrajania.
Tydzień 4. Projekt trafił do eskalacji. Trzy tygodnie robocze inżynierskie. Nadal nie w produkcji.
Zespół wypróbował wtedy anonym.legal. Pierwszy przetworzony dokument: 12 minut po rejestracji. Wykrywanie brytyjskiego numeru National Insurance było już wbudowane. Żadnej konfiguracji.
Przeszli na anonym.legal Professional za 180 EUR rocznie.
Całkowity koszt posiadania w pierwszym roku:
- Ścieżka samodzielna — 40–80 kolejnych godzin na dokończenie, potem 6 000–12 000 EUR/rok na konserwację. Łącznie: 10 000–20 000 EUR.
- anonym.legal Professional — 180 EUR/rok. Czas wdrożenia: ~12 minut.
- Zaoszczędzone godziny inżynierskie: ~132/rok przy 100 EUR/h = 13 200 EUR.
To różnica 70-krotna w pierwszym roku.
Dla zespołów zmagających się również z problemami fałszywych alarmów, zapoznaj się z naszym wpisem o problemie precyzji Presidio.
Kiedy samodzielne hostowanie ma sens
Zarządzane SaaS wygrywa dla większości zespołów. Ale samodzielne hostowanie pasuje do niektórych przypadków.
Suwerenność danych. Niektóre przepisy lub umowy zabraniają wysyłania danych poza sieć firmową. Nasza Aplikacja Desktopowa (anonym.plus) działa w trybie w pełni offline. Żadne dane nie opuszczają urządzenia. Ta sama dokładność, bez potrzeby serwera.
Bardzo duże wolumeny. Miliony wywołań API dziennie mogą sprawić, że cena za wywołanie przekroczy koszty serwera. W tej skali sensowne jest posiadanie własnego stosu.
Integracja produktu. Budujesz wykrywanie PII w swoim własnym produkcie i potrzebujesz pełnej kontroli? Niestandardowa praca na open-source jest uzasadniona.
Istniejący DevOps. Zespoły z platformą DevOps zarządzającą już wieloma usługami mają niższy dodatkowy koszt. Infrastruktura to dla nich koszt stały.
Dla wszystkich pozostałych — zespołów ds. zgodności, startupów, zespołów bez DevOps — zarządzane SaaS to oczywisty wybór. Zapoznaj się z przeglądem zgodności bezpieczeństwa, aby dowiedzieć się, jak hosting zarządzany spełnia wymagania korporacyjne.
Podsumowanie
Narzędzia open-source mają koszty, które nie pojawiają się w cenie licencji. Dla tego typu narzędzia głównym kosztem jest czas pracy inżynierów. Konfiguracja: 40–80 godzin. Roczna konserwacja: 60–120 godzin. Przy normalnych stawkach ścieżka samodzielna kosztuje 20–75 razy więcej niż usługa zarządzana.
Właściwe pytanie to nie „ile kosztuje oprogramowanie?”. To „ile kosztuje jego uruchomienie?”. Dla większości zespołów odpowiedź wskazuje na zarządzane SaaS.
Źródła
Microsoft Presidio GitHub: Zgłoszenia i dokumentacja konfiguracji. ZWERYFIKOWANE-ZEWNĘTRZNIE.
Ploomber: Przewodnik wdrożenia produkcyjnego Presidio. ZWERYFIKOWANE-ZEWNĘTRZNIE.
GDPR Art. 32: Środki techniczne zapewniające odpowiednie bezpieczeństwo. ZWERYFIKOWANE-ZEWNĘTRZNIE.