title: "Fałszywe alarmy Presidio: koszty w środowiskach prawnych i medycznych" description: "Badanie benchmarkowe z 2024 r. wykazało, że Presidio wygenerowało 13 536 fałszywych wykryć imion w 4 434 próbkach — oznaczając zaimki, nazwy statków i nazwy krajów jako imiona osób. Oto, ile to kosztuje w środowiskach prawnych i medycznych." category: technical publishedAt: 2026-03-23 tags:
- wskaźnik fałszywych alarmów Presidio
- precyzja wykrywania PII
- koszt automatycznej redakcji
- przegląd dokumentów prawnych
- hybrydowe wykrywanie PII readingTime: 8
Zaktualizowano na 2026 rok
Problem 22,7% precyzji
Badanie z 2024 r. przetestowało Microsoft Presidio na plikach biznesowych. Presidio to narzędzie open-source do wykrywania PII, szeroko stosowane przez zespoły prawne i podmioty medyczne.
Badanie mierzyło, jak często Presidio się myli. Ile spośród wszystkich elementów oznaczonych jako imiona osób to były rzeczywiście imiona osób?
Odpowiedź: 22,7%. Około 77 na każde 100 oznaczeń było błędnych. Badanie naliczyło 13 536 fałszywych oznaczeń w 4 434 plikach próbek.
Błędy nie były przypadkowe — wykazywały wyraźne wzorce:
- Zaimki oznaczane jako osoby („I” na początku zdania)
- Nazwy statków oznaczane jako osoby („ASL Scorpio”)
- Nazwy firm oznaczane jako osoby („Deloitte & Touche”)
- Nazwy krajów oznaczane jako osoby („Argentyna”, „Singapur”)
Żaden z tych przypadków nie jest rzadkim wyjątkiem. Pojawiają się zawsze, gdy ogólny model NLP spotka tekst branżowy. Model nie był budowany do ich rozróżniania.
Ile kosztują fałszywe alarmy
W pracy prawnej i medycznej każde oznaczenie wymaga reakcji. Zespoły mają trzy opcje — wszystkie niosą realne koszty.
Opcja 1: Człowiek sprawdza każde oznaczenie. Czas prawnika i eksperta kosztuje od 200 do 800 dolarów za godzinę. Przy precyzji 22,7% wolumen jest ogromny. W skali nie jest to wykonalne. Więcej o tym, jak koszty przeglądu rosną z wolumenem, przeczytasz w artykule Automatyzacja PII w e-discovery i redukcja kosztów przeglądu prawnego.
Opcja 2: Pomiń przegląd i zaufaj wynikowi. To też jest ryzykowne. Gdy 77% „zredagowanych” elementów nie jest wrażliwych, tworzysz ryzyko prawne. Sądy nakładały kary na prawników za nadmierną redakcję. Udokumentowane przypadki znajdziesz w artykule Sankcje za nadmierną redakcję w e-discovery.
Opcja 3: Podnieś próg wyników. Presidio pozwala użytkownikom ustawić score_threshold, by odrzucić słabe oznaczenia. Badanie DICOM z 2024 r. przetestowało próg 0,7 — dość wysoką poprzeczkę. Wynik: 38 z 39 obrazów DICOM wciąż miało fałszywe alarmy. Progi pomagają — ale nie usuwają przyczyny źródłowej.
Dlaczego ogólne NLP tu zawodzi
Luka Presidio wynika z niedopasowania między danymi treningowymi a rzeczywistym zastosowaniem.
Pliki prawne są pełne terminów pisanych wielkimi literami. Nazwy spraw, tytuły ustaw i kody eksponatów wyglądają jak dane osobowe dla ogólnego modelu — i są przez niego oznaczane. W większości nie są danymi osobowymi.
Pliki medyczne dodają nazwy leków, kody urządzeń i kliniczne skróty. „Pt.” oznacza Pacjent. „Dr.” oznacza Doktor. Zaburzają wykrywanie encji w sposób trudny do przewidzenia.
Pliki finansowe zawierają kody produktów, ciągi encji i identyfikatory kont, które na powierzchni przypominają rekordy osobowe.
Dostosowanie modelu do danych branżowych pomaga — ale wymaga czasu i wysiłku na budowę i utrzymanie.
Jak hybrydowe wykrywanie rozwiązuje ten problem
Problem fałszywych alarmów ma jasne rozwiązanie: podziel pracę według typu danych.
Reguły wzorców dla danych ustrukturyzowanych. Numery ubezpieczenia społecznego, numery telefonów, adresy e-mail i formaty identyfikatorów podlegają stałym regułom. Ciąg albo pasuje do wzorca i przechodzi test cyfry kontrolnej — albo nie. Zero fałszywych alarmów dla poprawnych zestawów reguł.
Modele językowe dla tekstu swobodnego. Imiona i nazwiska, nazwy firm i lokalizacje w prozie nie mają sztywnej struktury. NLP je znajduje tam, gdzie reguły zawodzą. Wyniki pewności i sprawdzanie kontekstu obniżają wskaźnik fałszywych alarmów.
Ustawienia wyników per typ dla precyzyjnej kontroli. Zespoły prawne, które nie mogą ryzykować nadmierną redakcją, ustawiają wysokie progi dla rozmytych dopasowań. Zespoły badawcze potrzebujące wysokiego przypomnień ustawiają niższe. Więcej o tym, jak działają progi w praktyce, przeczytasz w artykule Binarne wykrywanie PII i ocenianie pewności dla zgodności.
Efektem jest znacznie mniej błędów niż przy ustawieniach domyślnych Presidio, przy zachowaniu silnego przypomnienia tam, gdzie same reguły by nie wystarczyły.
Dla zespołów prawnych i medycznych kluczowe pytanie brzmi nie: czy fałszywe alarmy istnieją — zawsze istnieją w systemach NLP — lecz: czy narzędzie pozwala ustawić, mierzyć i dokumentować ten kompromis.