Вистинската цена на "бесплатното" откривање на PII
"Бесплатно е" не е анализа на трошоци. Тоа е цена на лиценца — еден фактор меѓу многу.
Microsoft Presidio чини €0 за преземање. Софтверот е отворен код. Но извршувањето во осигурителна компанија чини над €13.000 во првата година. Тој јаз е инженерско време.
Што е потребно за производствено распоредување
Подготовката на алатката за производство бара 40-80 часа. Еве каде оди тоа време.
Docker поставување: 4-8 часа. Алатката користи неколку контејнери. Услуга за анализатор, услуга за анонимизатор и опционален редактор на слики. Нивното поврзување е тешко. GitHub прашањата покажуваат дека е вообичаена точка на неуспех.
Python поставување: 2-4 часа. Библиотеките имаат строги правила за верзии. Конфликтите се вообичаени — особено меѓу верзиите на spaCy моделот и Python 3.8/3.9/3.10. GitHub покажува стотици отворени прашања на оваа тема.
Преземања на јазичен модел: 2-4 часа. spaCy моделите опфаќаат 300 MB до 1,4 GB секој. Поставувањето на пет јазици бара 1,5-7 GB складирање. Грешките при вчитување на моделот се меѓу најчестите прашања за поддршка.
Прилагодени препознавачи: 8-16 часа. Стандардниот сет опфаќа околу 40 типови на ентитети. Повеќето се US идентификатори. EU распоредувањата бараат европски национални ID. Здравствените тимови бараат формати на медицински записи. Секој тип бара Python код, YAML поставување и тестирање.
API поставување: 4-8 часа. Производствената конфигурација вклучува временски ограничувања, автентикација, ограничувања на стапка и логирање. Официјалните документи се тенки. Повеќето тимови наоѓаат одговори во теми на GitHub прашања.
Ревизорско логирање: 4-8 часа. GDPR бара записи за обработка на податоци. Алатката нема стандарден ревизорски дневник. Тимовите мораат да го напишат како прилагоден код.
Документација за тимот: 4-8 часа.
Вкупно почетно поставување: 28-52 часа при €100/час = €2.800-5.200.
Годишни трошоци за одржување
Алатката испраќа ажурирања 2-4 пати годишно. Главните верзии ги скршиле API-ите. Следењето значи следење на промени, тестирање во постапување и распоредување.
Ажурирањата на spaCy моделот додаваат и работа. Новите верзии на моделот бараат повторно преземање и проверки на прецизноста пред да оди во живо.
Конфликтите со Python зависностите продолжуваат. Чисто поставување денес може да се скрши кога ќе се испрати безбедносна закрпа следниот месец.
Мониторингот е исто така тековен. Здравјето на контејнерот, протекувањата на меморија и чекорите за рестартирање сите бараат редовно внимание. spaCy моделите се тешки за меморија.
Вкупно годишно одржување: 60-120 часа при €100/час = €6.000-12.000.
Студија на случај од реалниот свет
Тим за усогласеност во осигурителна фирма се зафатил да обработува документи за побарувања. Имале два помлади инженери за податоци и без DevOps поддршка.
Недела 1. Двата главни контејнери не можеле да комуницираат. Три дена да се поправи со помош од GitHub.
Недела 2. Моделите не успеале да се вчитаат во производство. Конфигурацијата на меморија се разликувала од dev поставувањето. Два дена за дијагностика, уште еден за поправка.
Недела 3. Правило за прилагоден UK National Insurance Number работело во тестови, но предизвикало лажни позитиви на вистински документи. Уште два дена дотерување.
Недела 4. Проектот бил ескалиран. Потрошени три инженерски недели. Сè уште не е во производство.
Тогаш тимот го пробал anonym.legal. Прв обработен документ: 12 минути по регистрацијата. Откривањето на UK National Insurance Number веќе било вградено. Не е потребно поставување.
Те преминале на anonym.legal Professional при €180/година.
Вкупен TCO за прва година:
- Патот на самохостирање — 40-80 повеќе часа за завршување, потоа €6.000-12.000/година за одржување. Вкупно: €10.000-20.000.
- anonym.legal Professional — €180/година. Времетраење на распоредување: ~12 минути.
- Заштедени инженерски часови: ~132/година при €100/час = €13.200.
Тоа е јаз во трошоците од 70 пати во прва година.
За тимови кои исто така се соочуваат со проблеми со лажни позитиви, погледнете ја нашата публикација за проблемот со прецизноста на Presidio.
Кога самохостирањето има смисла
Управуваниот SaaS победува за повеќето тимови. Но самохостирањето одговара на некои случаи.
Суверенитет на податоците. Некои правила или договори забрануваат испраќање податоци надвор. Нашата десктоп апликација (anonym.plus) работи целосно офлајн. Никакви податоци не ја напуштаат машината. Иста прецизност, не е потребен сервер.
Многу голем обем. Милиони API повици дневно може да ги турне трошоците по повик над трошоците на серверот. При тој обем, поседувањето на стекот има смисла.
Интеграција на производи. Градење откривање на PII во вашиот сопствен производ и ви треба целосна контрола? Прилагодената работа со отворен код е валидна тука.
Постоечки DevOps. Тимовите со платформски тим кои веќе работат многу услуги се соочуваат со помала додадена цена. Инфраструктурата е потонат трошок за нив.
За сите останати — тимови за усогласеност, стартапи, тимови без DevOps — управуваниот SaaS е јасен избор. Погледнете го нашиот преглед за усогласеност со безбедноста за тоа како хостираната обработка ги задоволува потребите на претпријатието.
Заклучок
Алатките со отворен код имаат трошоци кои не се прикажуваат во лиценцата. За овој тип на алатка, главниот трошок е инженерско време. Поставување: 40-80 часа. Годишно одржување: 60-120 часа. При нормални ставки, патот на самохостирање чини 20-75 пати повеќе отколку управуваната услуга.
Вистинското прашање не е "колку чини софтверот?" Тоа е "колку чини неговото извршување?" За повеќето тимови, тој одговор упатува кон управуван SaaS.
Извори
Microsoft Presidio GitHub: Прашања и документација за поставување. VERIFIED-EXTERNAL.
Ploomber: Водич за производствено распоредување на Presidio. VERIFIED-EXTERNAL.
GDPR член 32: Технички мерки за соодветна безбедност. VERIFIED-EXTERNAL.