Podatek od fałszywych alarmów w narzędziach do detekcji PII
Zaktualizowane na 2026 rok
Większość narzędzi PII jest oceniana pod kątem odzysku (recall) — mierzy on, jaka część rzeczywistego PII zostaje wykryta. Ale precyzja (precision) jest równie ważna. Precyzja mierzy, jaka część alertów narzędzia rzeczywiście dotyczy PII.
Niska precyzja jest kosztowna. System z odzyskiem 95% i precyzją 22,7% wykrywa większość PII. Jednak na każdą prawdziwą encję PII, którą oznacza, generuje 3,4 błędnych alertów. W zbiorze danych z 10 000 rzeczywistymi encjami PII taki system wyzwoli około 44 000 alertów — z czego mniej więcej 34 000 będzie błędnych. Każdy kosztuje czas na weryfikację lub powoduje nadmiarową redakcję.
To jest podatek od fałszywych alarmów — narzut, który ponosi każdy zespół eksploatujący system PII o wysokim odzysku i niskiej precyzji w dużej skali. Bezpośredni koszt to czas analityków. Koszt pośredni jest poważniejszy: nadmiernie zredagowane dokumenty ukrywają przydatne dane, spowalniają pracę i podważają zaufanie do narzędzia.
Co pokazuje zgłoszenie #1071 w Presidio
Dyskusja #1071 na GitHubie Microsoft Presidio (2024) dokumentuje specyficzny wzorzec. Rozpoznawacze TFN (australijski numer rozliczenia podatkowego) i PCI stosują walidację sumy kontrolnej. Liczby, które przejdą weryfikację, otrzymują wynik 1,0 — maksymalną pewność — bez wymagania kontekstu PII.
Przyczyna źródłowa: sprawdzanie słów kontekstowych działa po kroku sumy kontrolnej, nie przed. Liczba, która przejdzie weryfikację, otrzymuje najwyższy wynik niezależnie od otaczającego tekstu. W arkuszach finansowych, zbiorach danych naukowych lub plikach logów powoduje to zalew błędnych alertów. Filtrowanie progowe wyników nie pomaga — wyniki są już na maksimum.
Drugi wzorzec pojawia się w zgłoszeniu #999 Presidio. Segmentacja wyrazów niemieckich psuje się dla złożeń. Wyrazy takie jak Bundesbehörde (urząd federalny) mogą być błędnie podzielone i oznaczone jako imiona i nazwiska. Generuje to szum w każdym dokumencie w języku niemieckim.
Problem precyzji na poziomie 22,7%
Alvaro i in. (2024) przetestowali Presidio na mieszanych językowo zbiorach danych korporacyjnych. Wykazali precyzję 22,7%. W rzeczywistych dokumentach mniej niż jeden na cztery alerty Presidio dotyczy prawdziwej encji PII. To pokrywa się z tym, co zgłaszają praktycy. Narzędzie dostrojone wyłącznie pod kątem odzysku generuje zbyt wiele szumu dla środowiska produkcyjnego.
Badanie DICOM z 2024 roku wykazało, że podniesienie score_threshold do 0,7 nadal pozostawiało błędne alerty w 38 z 39 obrazów medycznych. Próg, który usuwa szum w jednym typie dokumentów, powoduje pominięcia w innym.
To nie jest problem wyłącznie Presidio. Każdy stały próg wymusza kompromis. Wysoki próg redukuje szum, ale zwiększa pominięcia. Niski próg poprawia odzysk, ale zwiększa liczbę alertów.
Ocenianie kontekstowe
Rozwiązaniem jest kontekstowe ocenianie pewności. Zamiast oceniać wyłącznie na podstawie dopasowania wzorca, system zwiększa pewność, gdy słowa kontekstowe pojawiają się w pobliżu dopasowania. Obniża też wynik, gdy kontekst jest nieobecny.
Dla detekcji TFN: słowa takie jak „tax file number”, „TFN” lub „Australian tax” w pobliżu liczby zwiększają jej wynik. Liczba, która przejdzie weryfikację sumy kontrolnej, ale nie ma pobliskich słów kontekstowych, osiąga wynik poniżej progu weryfikacji. Fałszywy alarm zostaje wyciszony.
Dla szumu między językami: typy encji powiązane z konkretnymi krajami mogą być ograniczone do dokumentów w odpowiednim języku. Detektor TFN ograniczony do tekstu angielskiego i australijsko-angielskiego eliminuje szum. Uruchomienie go na treści niemieckiej bez takiego ograniczenia jest właśnie źródłem problemu.
Trzecia warstwa systemu hybrydowego to model transformerowy. Analizuje pełne okno kontekstowe wokół każdego kandydata. Odróżnia „Jan Kowalski, ID pacjenta 12345” od kodu produktu, który pasuje do wzorca imienia. Kontekst rozstrzyga niejednoznaczność, której nie potrafią regex i sumy kontrolne.
Sprawdź, jak trójpoziomowy silnik detekcji radzi sobie z precyzją w dużej skali. Przewodnik po wielojęzycznej detekcji PII wyjaśnia, jak szum między językami wpływa na zgodność z RODO.
Praktyczne kroki
Przed wdrożeniem jakiegokolwiek narzędzia PII zmierz jego precyzję — nie tylko odzysk.
Uruchom narzędzie na zbiorze dokumentów ze znanych PII i znanych nie-PII. Policz alerty w obu grupach. Oblicz true_positives / (true_positives + false_positives). Ta liczba ujawnia obciążenie weryfikacją przed podjęciem decyzji o wdrożeniu.
Dla zespołów korzystających już z Presidio szybką ścieżką jest analiza rozkładu wyników. Wyeksportuj próbkę wykryć z wynikami pewności. Policz, ile z nich osiąga wynik poniżej 0,6, 0,7 i 0,8. Duży udział alertów z wysokimi wynikami w czystym tekście sygnalizuje lukę kontekstową, a nie problem z progiem. Przegląd zgodności bezpieczeństwa wyjaśnia, jak to udokumentować w ocenie skutków dla ochrony danych (DPIA).
Źródła
- Microsoft Presidio GitHub Discussion #1071: systematyczne fałszywe alarmy
- Microsoft Presidio GitHub Issue #999: wzorce fałszywych alarmów w języku niemieckim
- Alvaro i in. (2024): precyzja Presidio na mieszanych językowych zbiorach danych korporacyjnych.
- Analiza progu wyników DICOM — społeczność Microsoft Presidio.