Aktualizované pre rok 2026
Problem presnosti 22,7 %
Stúdia z roku 2024 testovala Microsoft Presidio na obchodnych súboroch. Presidio je open-source nástroj PII. Právne týmy a zdravotnícke skupiny ho siroko pouzívajú.
Stúdia merala, ako casto bol Presidio správny. Z vsetkych prvkov, ktore oznacil ako mená osôb, kolko bolo skutocne mená osôb?
Odpoved bola 22,7 %. Priblizne 77 zo 100 oznacení bolo nespravnych. Stúdia spocítala 13 536 falsnych oznacení napriec 4 434 vzorkovymi súbormi.
Chyby neboli náhodné. Riadili sa jasnymi vzormi:
- Zámenné mená oznacené ako osoby ("I" na zaciatku vety)
- Nálepky lodí oznacené ako osoby ("ASL Scorpio")
- Nálepky spolocností oznacené ako osoby ("Deloitte & Touche")
- Pojmy krajín oznacené ako osoby ("Argentina", "Singapore")
Ziadny z tychto prípadov nie je vzácny okrajový prípad. Objavia sa vdy, ked vseobecný model NLP stretne text špecifický pre danú oblasť. Model nebol postaveny na to, aby ich rozlisil.
Co stoja falsné oznacenia
V právnej a zdravotníckej práci kazde oznacenie vyzaduje odpoved. Timy celiajú trom moznostiam. Vsetky tri majú skutocné náklady.
Moznost 1: Clovek skontroluje kazde oznacenie. Cas právnika a odborníka stojí 200 az 800 eur za hodinu. Pri presnosti 22,7 % je objem obrovský. Toto nie je realizovatelné vo velkej mierke. Pozri Automatizácia PII pre eDiscovery a znizenie nákladov na právny prehľad pre to, ako náklady na prehľad rastú s objemom.
Moznost 2: Preskocit kontrolu a doverit výstup. Toto je tiez riskantné. Ked 77 % "redigovaných" prvkov nie je citlivych, vytvára sa právne riziko. Súdy pokutovali právnikov za nadmerné redigovanie. Pozri Sankcie za nadmerné redigovanie pre eDiscovery pre zdokumentované prípady.
Moznost 3: Zvysit prahovú hodnotu skóre. Presidio umoznuje uzívatelom nastavit score_threshold na vynechanie slabych oznacení. Stúdia DICOM z roku 2024 to testovala na 0,7 - pomerne vysokej latke. Výsledok: 38 z 39 obrazkov DICOM stale malo falsné oznacenia. Prahové hodnoty pomáhajú. Neopravujú hlavnú príciinu.
Preco tu vseobecný NLP zlyháva
Medzera Presidio pochádza z nezhody medzi tréningovymi dátami a pouzívaním v skutocnom svete.
Právne súbory su plné pojmov s velkymi písmenami. Názvy prípadov, názvy zákonov a kódy príloh vsetky vyzerajú pre vseobecný model ako osobné dáta. Oznacuje ich. Väcsina to nie je osobné dáta.
Zdravotnícke súbory pridávajú názvy liekov, kódy zariadení a klinické skratky. "Pt." znamená pacient. "Dr." znamená doktor. Tieto skraty narúsajú detekciu entít spôsobmi, ktore je tazké predvídat.
Financné súbory majú kódy produktov, entityreťazce a ID úctov, ktore zdielaju povrchné vzory s osobnymi záznamami.
Doladenie modelu na dátach špecifickych pre danú oblasť pomáha. Ale trvá to cas a úsilie na vybudovanie a aktualizáciu.
Ako hybridná detekcia toto opravuje
Problém falsnych oznacení má jasné riesenie. Rozdelenie práce podla typu dát.
Pravidlá vzorov pre struktúrované dáta. Rodné císla, telefónne císla, e-mailové adresy a formáty ID sa riadia pevnymi pravidlami. Retazec bud zodpovedá vzoru a prejde testom kontrolného cifra, alebo nie. Nula falsnych oznacení pre platné sady pravidiel.
Jazykové modely pre voľny text. Mená, priezviská, nálepky spolocností a lokácie v próze nemajú pevnú struktúru. NLP ich nachádza, ked pravidlá nestacia. Skóre spolahlivosti a kontroly kontextu znizujú mieru falsnych oznacení.
Nastavenia skóre pre kazdy typ pre jemné riadenie. Právne týmy, ktore si nemozú dovolit nadmerné redigovanie, nastavujú vysoké prahové hodnoty pre neistné zhody. Vyzskumné týmy, ktore potrebujú vysoku úplnost záchytu, nastavujú nizsie. Pozri Binárna detekcia PII a skórovanie spolahlivosti pre súlad pre to, ako fungujú úrovne skóre v praxi.
Výsledkom su omnoho mensie chyby ako predvolené nastavenia Presidio. Úplnost záchytu zostáva silná tam, kde by samotné pravidlá prehliadali prílis vela.
Pre právne a zdravotnícke týmy nie je klúcovou otázkou to, ci falsné oznacenia existujú. V systémoch NLP vzdy existujú. Otázka je, ci nástroj umoznuje nastavit, merat a zdokumentovat tento kompromis.