Problem precyzyjności na poziomie 22,7% w produkcji
Badanie benchmarkowe z 2024 roku dotyczące Microsoft Presidio — otwartego silnika wykrywania PII używanego w technologii prawnej, opiece zdrowotnej i aplikacjach ochrony danych w przedsiębiorstwach — wykazało wskaźnik precyzyjności 22,7% w kontekście wykrywania nazwisk osób w dokumentach biznesowych.
Precyzyjność mierzy dokładność pozytywnych identyfikacji: jaki procent elementów, które narzędzie oznaczyło jako "nazwy osób", rzeczywiście jest nazwami osób. Przy 22,7% około 77 na każde 100 elementów oznaczonych jako nazwy osób to fałszywe pozytywy.
Benchmark udokumentował 13 536 fałszywych pozytywnych detekcji nazwisk w 4 434 próbkach dokumentów. Fałszywe pozytywy obejmowały:
- Zaimki oznaczone jako nazwy osób ("Ja" pojawiające się na początku zdań)
- Nazwy statków oznaczone jako nazwy osób ("ASL Scorpio")
- Nazwy organizacji oznaczone jako nazwy osób ("Deloitte & Touche")
- Nazwy krajów oznaczone jako nazwy osób ("Argentyna," "Singapur")
To nie są przypadki marginalne. To systematyczne wzorce, które pojawiają się, gdy model NLP ogólnego przeznaczenia, wytrenowany na mieszanych korpusach, jest stosowany do specyficznych typów dokumentów, w których nazwy własne pojawiają się w kontekstach, których model nie został przeszkolony, aby rozróżniać.
Struktura kosztów fałszywych pozytywów w skali
W środowiskach prawnych i opieki zdrowotnej fałszywe pozytywy nie są darmowe. Każdy oznaczony element wymaga decyzji: albo przegląd ludzki w celu potwierdzenia lub odrzucenia oznaczenia, albo przetwarzanie automatyczne, które pozostawia fałszywy pozytyw niepoprawiony.
Opcja 1: Przegląd ludzki każdego oznaczonego elementu. Przy kosztach od 200 do 800 USD za godzinę dla adwokata lub specjalisty, przegląd fałszywych pozytywów z systemu o precyzyjności 22,7% jest ekonomicznie nieopłacalny w skali. Dla produkcji 10 000 dokumentów z 100 oznaczonymi elementami na dokument przy precyzyjności 22,7%, około 77 300 elementów wymaga przeglądu ludzkiego. Przy 5 minutach na element przy 300 USD za godzinę, to 6 442 godziny czasu przeglądu — około 1,9 miliona USD.
Opcja 2: Pomiń przegląd ręczny i zaakceptuj przetwarzanie automatyczne. Rezultatem jest produkcja, w której 77% "redagowanych" elementów nie było w rzeczywistości wrażliwych — co tworzy odpowiedzialność za nadmierną redakcję (ukryta zawartość bez podstaw), niszcząc użyteczność dokumentu i potencjalnie wywołując sankcje.
Opcja 3: Progi punktowe. Presidio pozwala na konfigurację score_threshold, aby zmniejszyć fałszywe pozytywy, oznaczając tylko elementy powyżej progu zaufania. Badanie benchmarkowe z 2024 roku dotyczące dokumentów obrazowania medycznego DICOM wykazało, że nawet przy score_threshold=0.7 — stosunkowo agresywnym filtrze precyzyjności — 38 z 39 obrazów DICOM nadal miało fałszywe pozytywne byty. Progi punktowe zmniejszają, ale nie eliminują problemu fałszywych pozytywów w przypadku czystego wykrywania ML.
Dlaczego czysta ML nie działa w dokumentach specyficznych dla dziedziny
Wzorzec fałszywych pozytywów w Presidio odzwierciedla fundamentalne ograniczenie modeli NLP ogólnego przeznaczenia w kontekstach specyficznych dla dziedziny:
Dokumenty prawne zawierają specjalistyczne nazwy własne — nazwy spraw, nazwy ustaw, oznaczenia dowodów — które dzielą powierzchowne wzorce z nazwami osób. Model wytrenowany na ogólnym tekście uczy się, że wielkie litery w nazwach własnych często oznaczają nazwy osób. Dokument prawny zawiera setki wielkich liter w nazwach własnych, które nie są nazwami osób.
Dokumenty medyczne zawierają nazwy leków, nazwy urządzeń i kody procedur, które zawierają sekwencje liter przypominające skróty nazw. Tekst kliniczny zawiera również skróty ("Pt." dla Pacjenta, "Dr." dla Doktora), które wchodzą w nieprzewidywalne interakcje z wykrywaniem nazw.
Dokumenty finansowe zawierają nazwy produktów, nazwy bytów i kody identyfikacyjne, które dzielą wzorce z osobistymi identyfikatorami.
Dostosowanie specyficzne dla dziedziny zajmuje się tymi wzorcami, ale wymaga znacznych inwestycji w zestawy danych do fine-tuningu i ciągłej konserwacji w miarę ewolucji typów dokumentów.
Rozwiązanie architektury hybrydowej
Problem fałszywych pozytywów można strukturalnie rozwiązać poprzez hybrydowe wykrywanie, które oddziela dane strukturalne (gdzie regex zapewnia 100% precyzji) od danych kontekstowych (gdzie ML zapewnia rozpoznawanie wzorców z skalibrowanym zaufaniem).
Regex dla identyfikatorów strukturalnych: numery SSN, numery telefonów, adresy e-mail, numery kart kredytowych, formaty krajowych identyfikatorów, numery kont bankowych. Te formaty są deterministyczne — ciąg albo pasuje do wzoru i przechodzi walidację sumy kontrolnej, albo nie. Zero fałszywych pozytywów dla legalnych wdrożeń.
NLP dla bytów kontekstowych: nazwy osób, nazwy organizacji, lokalizacje w niestrukturalnym tekście. Modele NLP zapewniają przypomnienie dla bytów, które nie mają wzorców strukturalnych. Ocena zaufania i wymagania dotyczące słów kontekstowych zmniejszają fałszywe pozytywy.
Konfiguracja progów dla każdego typu bytu: Ustawienie progu zaufania na poziomie 90% dla nazw osób przy jednoczesnym użyciu pewności regex (efektywnie 100%) dla numerów SSN pozwala na kalibrację do specyficznych dla dziedziny tolerancji fałszywych pozytywów. Zespoły prawne, które nie mogą tolerować nadmiernej redakcji, ustalają wyższe progi; zespoły badań klinicznych maksymalizujące przypomnienie o de-identyfikacji ustalają niższe.
Rezultat: dramatycznie niższe wskaźniki fałszywych pozytywów niż domyślne ustawienia Presidio, przy jednoczesnym zachowaniu przypomnienia, którego czyste dopasowanie wzorców nie może osiągnąć. Dla organizacji prawnych i medycznych oceniających narzędzia do automatycznej redakcji, kompromis między precyzją a przypomnieniem jest zarządzalny — ale tylko z narzędziem, które ujawnia go jako konfigurowalny parametr, a nie jako stałe zachowanie systemu.
Źródła: