Cukai Positif Palsu pada Alat Pengesanan PII
Dikemas kini untuk 2026
Kebanyakan alat PII dinilai berdasarkan penarikan semula. Penarikan semula mengukur bahagian PII sebenar yang ditemui alat tersebut. Tetapi ketepatan sama pentingnya. Ketepatan mengukur bahagian amaran alat yang merupakan PII sebenar.
Ketepatan rendah adalah mahal. Sistem dengan penarikan semula 95% dan ketepatan 22.7% menangkap kebanyakan PII. Namun untuk setiap entiti PII sebenar yang ditandainya, ia juga menaikkan 3.4 amaran salah. Dalam set data dengan 10,000 entiti PII sebenar, sistem itu mencetuskan kira-kira 44,000 amaran. Kira-kira 34,000 daripadanya salah. Setiap satu memakan masa untuk disemak atau menyebabkan penyuntingan berlebihan.
Inilah cukai positif palsu. Ia adalah overhed yang dibayar oleh mana-mana pasukan apabila menjalankan sistem PII penarikan semula tinggi, ketepatan rendah pada skala besar. Kos langsung ialah masa penyemak. Kos tidak langsung lebih teruk: dokumen yang terlalu disunting menyembunyikan data berguna, melambatkan kerja, dan menghakis kepercayaan terhadap alat tersebut.
Apa yang Ditunjukkan oleh Isu Presidio #1071
Perbincangan GitHub Microsoft Presidio #1071 (2024) merekodkan corak tertentu. Pengenal TFN (Tax File Number) dan PCI menggunakan pengesahan checksum. Nombor yang lulus checksum menerima skor 1.0 - keyakinan maksimum. Tiada konteks PII diperlukan.
Punca utama: pemeriksaan kata konteks berjalan selepas langkah checksum, bukan sebelumnya. Nombor yang lulus checksum mendapat skor tertinggi tanpa mengira teks sekeliling. Dalam hamparan kewangan, set data saintifik, atau fail log, ini membanjiri output dengan amaran salah. Penapisan ambang skor tidak dapat membetulkannya. Skor sudah berada pada maksimum.
Corak kedua muncul dalam isu Presidio #999. Segmentasi kata Jerman rosak untuk kata nama majmuk. Perkataan seperti Bundesbehorde (pihak berkuasa persekutuan) boleh dibahagi secara salah dan dilabel sebagai nama peribadi. Ini menambah bunyi bising dalam mana-mana dokumen berbahasa Jerman.
Masalah Ketepatan 22.7%
Alvaro et al. (2024) menguji Presidio pada set data perusahaan pelbagai bahasa. Mereka mendapati ketepatan 22.7%. Dalam dokumen sebenar, kurang daripada satu dalam empat amaran Presidio adalah entiti PII sebenar. Ini sepadan dengan apa yang dilaporkan oleh pengamal. Alat yang ditala untuk penarikan semula sahaja menghasilkan terlalu banyak bunyi bising untuk penggunaan pengeluaran.
Kajian DICOM 2024 menunjukkan bahawa menaikkan score_threshold kepada 0.7 masih meninggalkan amaran salah dalam 38 daripada 39 imej perubatan. Ambang yang membersihkan bunyi bising dalam satu jenis dokumen mewujudkan pengesanan yang terlepas dalam jenis lain.
Ini bukan masalah Presidio sahaja. Mana-mana ambang tetap memaksa pertukaran. Ambang tinggi memotong bunyi bising tetapi meningkatkan kesilapan. Ambang rendah meningkatkan penarikan semula tetapi mengembangkan bilangan amaran.
Pemarkahan Sedar Konteks
Pembaikannya ialah pemarkahan keyakinan sedar konteks. Daripada memberi skor berdasarkan padanan corak sahaja, sistem meningkatkan keyakinan apabila kata-kata konteks muncul berhampiran padanan. Ia juga menurunkan skor apabila konteks tiada.
Untuk pengesanan TFN: kata-kata seperti "tax file number," "TFN," atau "Australian tax" berhampiran nombor meningkatkan skornya. Nombor yang lulus checksum tetapi tiada kata konteks berdekatan mendapat skor di bawah ambang semakan. Amaran palsu ditindas.
Untuk bunyi bising rentas bahasa: jenis entiti yang dikaitkan dengan negara tertentu boleh dihadkan pada dokumen dalam bahasa yang sepadan. Pengesan TFN yang dihadkan pada teks bahasa Inggeris dan bahasa Inggeris Australia menghilangkan bunyi bising. Menjalankannya pada kandungan Jerman tanpa pelingkupan adalah sumber masalah.
Lapisan ketiga dalam sistem hibrid ialah model transformer. Ia membaca tetingkap konteks penuh di sekitar setiap calon. Ia membezakan antara "John Smith, Patient ID 12345" dengan kod produk yang sepadan dengan corak nama. Konteks menyelesaikan kekaburan yang tidak dapat diselesaikan oleh regex dan checksum.
Lihat cara enjin pengesanan tiga peringkat mengendalikan ketepatan pada skala besar. Panduan pengesanan PII pelbagai bahasa merangkumi cara bunyi bising rentas bahasa mempengaruhi pematuhan GDPR.
Langkah Praktikal
Sebelum menggunakan mana-mana alat PII, ukur ketepatannya - bukan hanya penarikan semula.
Jalankan alat tersebut pada set dokumen dengan PII yang diketahui dan bukan PII yang diketahui. Kira amaran dalam kedua-dua kumpulan. Kira true_positives / (true_positives + false_positives). Nombor ini mendedahkan beban semakan sebelum anda komited pada pelancaran.
Bagi pasukan yang sudah menggunakan Presidio, analisis taburan skor adalah laluan cepat. Eksport sampel pengesanan dengan skor keyakinan mereka. Kira berapa banyak yang mendapat skor di bawah 0.6, 0.7, dan 0.8. Bahagian besar amaran skor tinggi dalam teks bersih menandakan jurang konteks, bukan masalah ambang. Gambaran keseluruhan pematuhan keselamatan menerangkan cara mendokumentasikan ini dalam DPIA.
Sumber
- Perbincangan GitHub Microsoft Presidio #1071: positif palsu sistematik.
- Isu GitHub Microsoft Presidio #999: corak positif palsu bahasa Jerman.
- Alvaro et al. (2024): Ketepatan Presidio pada set data perusahaan pelbagai bahasa.
- Analisis ambang skor DICOM - komuniti Microsoft Presidio.