Viltus pozitīvo nodoklis PII atklāšanas rīkiem
Atjaunināts 2026. gadam
Lielākā daļa PII rīku tiek vērtēti pēc atsaukšanas. Atsaukšana mēra, kāda daļa no reālās PII tiek atrasta. Taču precizitātei ir vienāda nozīme. Precizitāte mēra, kāda daļa no rīka brīdinājumiem ir reāla PII.
Zema precizitāte ir dārga. Sistēma ar 95% atsaukšanu un 22,7% precizitāti uztver lielāko daļu PII. Taču par katru reālo PII entītiju, ko tā atzīmē, tā rada arī 3,4 nepareizus brīdinājumus. Datu kopā ar 10 000 reālām PII entītijām šī sistēma izšauj aptuveni 44 000 brīdinājumu. Apmēram 34 000 no tiem ir nepareizi. Katrs prasa laiku pārskatīšanai vai rada pārmērīgu redakciju.
Tā ir viltus pozitīvo nodoklis. Tas ir papildu darbs, ko jebkura komanda maksā, palaižot augstā atsaukšanas un zemas precizitātes PII sistēmu lielā apjomā. Tiešās izmaksas ir pārskatītāju laiks. Netiešās izmaksas ir sliktākas: pārmērīgi redaktēti dokumenti slēpj noderīgus datus, palēnina darbu un grauj uzticību rīkam.
Ko rāda Presidio problēma #1071
Microsoft Presidio GitHub diskusija #1071 (2024) reģistrē konkrētu modeli. TFN (nodokļu faila numurs) un PCI atpazinēji izmanto kontrolsummas validāciju. Skaitļi, kas iztur kontrolsummu, saņem punktu 1,0 — maksimālo uzticamību. PII konteksts nav nepieciešams.
Galvenais iemesls: konteksta vārdu pārbaude notiek pēc kontrolsummas soļa, nevis pirms. Skaitlis, kas iztur kontrolsummu, saņem augstāko punktu neatkarīgi no apkārtējā teksta. Finanšu izklājlapās, zinātniskās datu kopās vai žurnālu failos tas pārpludina izvadi ar nepareiziem brīdinājumiem. Punktu sliekšņa filtrēšana to nevar novērst. Punkti jau ir maksimālie.
Otrs modelis parādās Presidio problēmā #999. Vācu vārdu segmentācija sabrūk salikteņiem. Vārdi kā Bundesbehörde (federālā iestāde) var tikt nepareizi sadalīti un atzīmēti kā personvārdi. Tas rada troksni jebkurā vācu valodas dokumentā.
22,7% precizitātes problēma
Alvaro u.c. (2024) testēja Presidio uz jauktvalodu uzņēmumu datu kopām. Viņi atklāja 22,7% precizitāti. Reālos dokumentos mazāk nekā viens no četriem Presidio brīdinājumiem ir reāla PII entītija. Tas atbilst tam, ko praktiķi ziņo. Rīks, kas kalibrēts tikai atsaukšanai, rada pārāk daudz trokšņa ražošanas lietošanai.
- gada DICOM pētījums parādīja, ka
score_thresholdpaaugstināšana līdz 0,7 joprojām atstāja nepareizus brīdinājumus 38 no 39 medicīniskajiem attēliem. Slieksnis, kas attīra troksni vienā dokumentu tipā, rada izlaišanu citā.
Tā nav tikai Presidio problēma. Jebkurš fiksēts slieksnis rada kompromisu. Augsts slieksnis samazina troksni, bet palielina izlaišanu. Zems slieksnis palielina atsaukšanu, bet piepūš brīdinājumu skaitu.
Kontekstuāla novērtēšana
Risinājums ir kontekstuāla uzticamības novērtēšana. Tā vietā, lai novērtētu tikai pēc modeļa atbilstības, sistēma palielina uzticamību, kad konteksta vārdi parādās tuvu atbilstībai. Tā arī samazina punktu, kad konteksta nav.
TFN atklāšanai: vārdi kā "nodokļu faila numurs", "TFN" vai "Austrālijas nodoklis" tuvu skaitlim palielina tā punktu. Skaitlis, kas iztur kontrolsummu, bet nav tuvumā konteksta vārdu, saņem zemāku punktu nekā pārskatīšanas slieksnis. Fiktīvais brīdinājums tiek apspiestas.
Starpvalodu trokšņa gadījumā: entītiju tipi, kas saistīti ar konkrētām valstīm, var tikt ierobežoti dokumentiem atbilstošajā valodā. TFN atpazinējs, kas ierobežots angļu un Austrālijas-angļu tekstam, novērš troksni. Tā palaišana uz vācu satura bez ierobežojuma ir problēmas avots.
Trešais slānis hibrīdsistēmā ir transformatora modelis. Tas nolasa pilno konteksta logu ap katru kandidātu. Tas atšķir "Jānis Bērziņš, pacienta ID 12345" no produkta koda, kas atbilst vārda modelim. Konteksts atrisina neskaidrību, ko regulārās izteiksmes un kontrolsummas nevar.
Skatiet, kā trīs slāņu atklāšanas dzinējs apstrādā precizitāti lielā apjomā. Daudzvalodu PII atklāšanas ceļvedis aptver, kā starpvalodu troksnis ietekmē VDAR atbilstību.
Praktiskie soļi
Pirms jebkura PII rīka izvietošanas izmēriet tā precizitāti — ne tikai atsaukšanu.
Palaidiet rīku uz dokumentu kopas ar zināmu PII un zināmu ne-PII. Skaitiet brīdinājumus abās grupās. Aprēķiniet true_positives / (true_positives + false_positives). Šis skaitlis atklāj pārskatīšanas slogu pirms apņematies izvietošanai.
Komandām, kas jau izmanto Presidio, punktu sadalījuma analīze ir ātrais ceļš. Eksportējiet paraugus atklājumu ar to uzticamības punktiem. Skaitiet, cik daudz punktu ir zem 0,6, 0,7 un 0,8. Liela daļa augstu punktu brīdinājumu tīrā tekstā signalizē konteksta robu, nevis sliekšņa problēmu. Drošības atbilstības pārskats paskaidro, kā to dokumentēt DPIA.
Avoti
- Microsoft Presidio GitHub diskusija #1071: sistemātiski viltus pozitīvie.
- Microsoft Presidio GitHub problēma #999: vācu valodas viltus pozitīvie modeļi.
- Alvaro u.c. (2024): Presidio precizitāte uz jauktvalodu uzņēmumu datu kopām.
- DICOM punktu sliekšņa analīze — Microsoft Presidio kopiena.