Pravi trosak besplatne detekcije PII-a
"Besplatno je" nije analiza troskova. To je cijena licence - jedan faktor medu mnogima.
Microsoft Presidio kosta 0 EUR za preuzimanje. Softver je open-source. Ali njegovo pokretanje u osiguravajucoj kompaniji kosta vise od 13.000 EUR u prvoj godini. Taj jaz su inzenjerski sati.
Sto je potrebno za produkcijsku implementaciju
Priprema alata za produkciju traje 40-80 sati. Evo gdje taj cas prolazi.
Docker postavljanje: 4-8 sati. Alat koristi nekoliko kontejnera. Servis analizatora, servis anonimizatora i opcionalni redaktator slika. Natjerati ih da medusobno komuniciraju je zahtjevno. GitHub problemi pokazuju da je to cesta tocka kvara.
Python postavljanje: 2-4 sata. Biblioteke imaju stroga pravila verzija. Konflikti su cesti - posebno izmedju verzija spaCy modela i Pythona 3.8/3.9/3.10. GitHub prikazuje stotine otvorenih problema na ovu temu.
Preuzimanje jezicnih modela: 2-4 sata. spaCy modeli krecу se od 300 MB do 1,4 GB svaki. Postavljanje za pet jezika zahtijeva 1,5-7 GB pohrane. Greske pri ucitavanju modela medu najcescim su problemima podrske.
Prilagodeni prepoznavaci: 8-16 sati. Zadani skup pokriva oko 40 vrsta entiteta. Vecina su americki identifikatori. EU implementacije trebaju europske nacionalne identifikatore. Zdravstveni timovi trebaju formate medicinskih kartona. Svaki tip zahtijeva Python kod, YAML postavljanje i testiranje.
API postavljanje: 4-8 sati. Produkcijska konfiguracija ukljucuje vremenska ogranicenja, autentikaciju, ogranicenja brzine i biljezelje. Sluzbena dokumentacija je slaba. Vecina timova pronalazi odgovore u raspravama o GitHub problemima.
Revizijsko biljezelje: 4-8 sati. GDPR zahtijeva zapise o obradi podataka. Alat nema zadano revizijsko biljezelje. Timovi ga moraju napisati kao prilagodeni kod.
Dokumentacija za tim: 4-8 sati.
Ukupno pocetno postavljanje: 28-52 sata po 100 EUR/sat = 2.800-5.200 EUR.
Godisnji troskovi odrzavanja
Alat isporucuje azuriranja 2-4 puta godisnje. Velika izdanja su prekinula API-jeve. Pracenje azuriranja, testiranje u stagingu i implementacija sve zahtijeva pracenje promjena.
Azuriranja spaCy modela takodje dodaju posla. Nove verzije modela trebaju se ponovo preuzeti i provjeriti tocnost prije pokretanja.
Konflikti Python ovisnosti nastavljaju se. Cisto postavljanje danas moze se slomiti kada slijedeci mjesec stigne sigurnosna zakrpa.
Pracenje je takodje kontinuirano. Zdravlje kontejnera, curenje memorije i koraci ponovnog pokretanja zahtijevaju redovitu paznju. spaCy modeli su memorijski zahtjevni.
Ukupno godisnje odrzavanje: 60-120 sati po 100 EUR/sat = 6.000-12.000 EUR.
Stvarni prikaz slucaja
Komplijanсni tim u osiguravajucoj kompaniji krenuo je obradivati dokumente o zahtjevima. Imali su dva mlada inzenjera podataka i bez DevOps podrske.
Tjedan 1. Dva glavna kontejnera nisu mogla komunicirati. Tri dana popravka uz pomoc GitHuba.
Tjedan 2. Modeli se nisu ucitali u produkciji. Konfiguracija memorije razlikovala se od razvojnog postavljanja. Dva dana dijagnoze, jos jedan za popravak.
Tjedan 3. Prilagodeno pravilo za britanski broj nacionalnog osiguranja radilo je u testovima, ali pogodilo lazne pozitivne na stvarnim dokumentima. Jos dva dana podestavanja.
Tjedan 4. Projekt je eskaliran. Potrosena su tri inzenjerska tjedna. Jos nije u produkciji.
Tim je zatim isprobao anonym.legal. Prva obradjena isprava: 12 minuta nakon registracije. Detekcija britanskog broja nacionalnog osiguranja vec je bila ugradjena. Nije trebalo nikakvo postavljanje.
Presli su na anonym.legal Professional za 180 EUR/godisnje.
Ukupni troskovi vlasnistva u prvoj godini:
- Put samo-hostiranja - jos 40-80 sati za dovrsavanje, zatim 6.000-12.000 EUR/godisnje za odrzavanje. Ukupno: 10.000-20.000 EUR.
- anonym.legal Professional - 180 EUR/godisnje. Vrijeme implementacije: ~12 minuta.
- Ustedeni inzenjerski sati: ~132/godisnje po 100 EUR/sat = 13.200 EUR.
To je 70x jaz u troskovima u prvoj godini.
Za timove koji se takodje suocavaju s problemima laznih pozitivnih, pogledajte nas clanak o Presidiookm problemu preciznosti.
Kada samo-hostiranje ima smisla
Upravljavani SaaS pobjedjuje za vecinu timova. Ali samo-hostiranje odgovara nekim slucajevima.
Suverenitet podataka. Neka pravila ili ugovori zabranjuju slanje podataka izvan granica. Nasa desktop aplikacija (anonym.plus) radi potpuno offline. Nikakvi podaci ne napustaju uredaj. Ista tocnost, bez potrebe za serverom.
Veoma visok volumen. Milijuni API poziva dnevno mogu gurati cijenu po pozivu iznad troskova servera. U toj mjeri, vlasnistvo stoga ima smisla.
Integracija u produkt. Gradite detekciju PII-a u svoju vlastitu produkt i trebate potpunu kontrolu? Prilagodeni open-source rad je valjaн ovdje.
Postojeci DevOps. Timovi s platformnim timom koji vec vodi mnoge servise suocavaju se s nizim dodanim troskom. Infrastruktura je za njih potopljeni trosak.
Za sve ostale - compliance timove, startupe, timove bez DevOpsa - upravljani SaaS je jasan izbor. Pogledajte nas pregled sigurnosnog uskladivanja za informacije o tome kako hostirana obrada zadovoljava korporativne zahtjeve.
Zakljucak
Open-source alati imaju troskove koji se ne pojavljuju u licenci. Za ovu vrstu alata, veliki trosak je inzenjersko vrijeme. Postavljanje: 40-80 sati. Godisnje odrzavanje: 60-120 sati. Po normalnim stopama, put samo-hostiranja kosta 20-75x vise od upravljanog servisa.
Pravo pitanje nije "sto softver kosta?" To je "sto kosta njegovo pokretanje?" Za vecinu timova, odgovor upucuje na upravljani SaaS.
Izvori
Microsoft Presidio GitHub: Problemi i dokumentacija za postavljanje. VERIFICIRANO-EKSTERNO.
Ploomber: Vodic za produkcijsku implementaciju Presidia. VERIFICIRANO-EKSTERNO.
GDPR clanak 32: Tehnicke mjere za odgovarajucu sigurnost. VERIFICIRANO-EKSTERNO.