Masalah Presisi 22.7% dalam Produksi
Studi tolok ukur 2024 dari Microsoft Presidio—mesin deteksi PII sumber terbuka yang digunakan dalam teknologi hukum, layanan kesehatan, dan aplikasi perlindungan data perusahaan—menemukan tingkat presisi 22.7% untuk deteksi nama orang dalam konteks dokumen bisnis.
Presisi mengukur akurasi identifikasi positif: persentase berapa dari item yang alat tandai sebagai "nama orang" adalah nama orang yang sebenarnya. Pada 22.7%, kira-kira 77 dari setiap 100 item yang ditandai sebagai nama orang adalah positif palsu.
Tolok ukur mendokumentasikan 13.536 deteksi nama positif palsu di 4.434 sampel dokumen. Positif palsu termasuk:
- Kata ganti yang ditandai sebagai nama orang ("I" muncul di awal kalimat)
- Nama kapal yang ditandai sebagai nama orang ("ASL Scorpio")
- Nama organisasi yang ditandai sebagai nama orang ("Deloitte & Touche")
- Nama negara yang ditandai sebagai nama orang ("Argentina," "Singapore")
Ini bukan kasus tepi. Mereka adalah pola sistematis yang muncul ketika model NLP tujuan umum yang dilatih pada corpora campuran diterapkan ke jenis dokumen spesifik domain di mana kata benda yang tepat muncul dalam konteks yang tidak diajarkan model untuk disambiguasi.
Struktur Biaya Positif Palsu pada Skala
Dalam lingkungan hukum dan layanan kesehatan, positif palsu tidak gratis. Setiap item yang ditandai memerlukan disposisi: baik tinjauan manusia untuk mengkonfirmasi atau menolak bendera, atau pemrosesan otomatis yang meninggalkan positif palsu tidak dikoreksi.
**Pilihan 1: H...