2026 için güncellendi
Yüzde 22,7'lik Hassasiyet Sorunu
2024 yılında Microsoft Presidio iş dosyaları üzerinde test edildi. Presidio açık kaynaklı bir KKB aracıdır. Hukuk ekipleri ve sağlık kuruluşları tarafından yaygın biçimde kullanılmaktadır.
Çalışma Presidio'nun ne kadar sıklıkla haklı olduğunu ölçtü. Kişi adı olarak işaretlediği kalemlerden kaçı gerçekten kişi adıydı?
Yanıt yüzde 22,7'ydi. Her 100 işaretlemeden yaklaşık 77'si yanlıştı. Çalışma 4.434 örnek dosyada 13.536 yanlış işaretleme saydı.
Hatalar rastgele değildi. Belirgin kalıplar izliyordu:
- Cümle başındaki zamirler insan olarak işaretlendi ("I")
- Gemi etiketleri insan olarak işaretlendi ("ASL Scorpio")
- Şirket etiketleri insan olarak işaretlendi ("Deloitte & Touche")
- Ülke terimleri insan olarak işaretlendi ("Arjantin", "Singapur")
Bunların hiçbiri nadir uç durumlar değildir. Genel bir NLP modeli alana özgü metinle karşılaştığında ortaya çıkarlar. Model bunları birbirinden ayırt etmek için tasarlanmamıştı.
Yanlış İşaretlemeler Neye Mal Olur
Hukuki ve tıbbi çalışmalarda her işaretleme bir yanıt gerektirir. Ekipler üç seçenekle karşı karşıya kalır. Her üçünün gerçek maliyetleri vardır.
Seçenek 1: Her işaretlemeyi insanlar kontrol eder. Avukat ve uzman zamanı saatte 200 ila 800 dolar tutar. Yüzde 22,7'lik doğrulukta hacim muazzamdır. Bu ölçekte uygulanabilir değildir. İnceleme maliyetlerinin hacimle nasıl büyüdüğü için E-Keşif KKB Otomasyonu ve Hukuki İnceleme Maliyeti Azaltımı yazısına bakın.
Seçenek 2: İncelemeyi atlayıp çıktıya güvenmek. Bu da risklidir. "Redakte edilmiş" kalemlerin yüzde 77'si hassas değilse hukuki risk yaratırsınız. Mahkemeler aşırı redaksiyon nedeniyle avukatlara para cezası vermiştir. Belgelenmiş davalar için E-Keşifde Aşırı Redaksiyon Yaptırımları yazısına bakın.
Seçenek 3: Puan eşiğini yükseltmek. Presidio kullanıcıların zayıf işaretlemeleri düşürmek için score_threshold ayarlamasına izin verir. 2024 DICOM çalışması bunu 0,7 — oldukça yüksek bir çıta — seviyesinde test etti. Sonuç: 39 DICOM görüntüsünden 38'inde yanlış işaretleme kaldı. Eşikler yardımcı olur. Temel nedeni gidermez.
Genel NLP Neden Burada Zorlanır
Presidio açığı, eğitim verisi ile gerçek dünya kullanımı arasındaki uyumsuzluktan kaynaklanır.
Hukuki dosyalar büyük harfli terimlerle doludur. Dava adları, yasa başlıkları ve sergi kodları genel bir modele kişisel veri gibi görünür. Model bunları işaretler. Çoğu kişisel veri değildir.
Sağlık dosyaları ilaç adları, cihaz kodları ve klinik kısaltmalar ekler. "Pt." Hasta anlamına gelir. "Dr." Doktor anlamına gelir. Bunlar öngörülmesi güç biçimlerde varlık tespitini yanıltır.
Finans dosyaları, yüzey kalıplarını kişisel kayıtlarla paylaşan ürün kodları, kurum dizileri ve hesap kimlikleri içerir.
Modeli alan verileri üzerinde ince ayar yapmak yardımcı olur. Ancak oluşturmak ve güncel tutmak zaman ve çaba gerektirir.
Hibrit Tespit Bunu Nasıl Giderir
Yanlış işaretleme sorununun açık bir çözümü vardır. Çalışmayı veri türüne göre bölün.
Yapılandırılmış veriler için kalıp kuralları. Sosyal güvenlik numaraları, telefon numaraları, e-posta adresleri ve kimlik formatları sabit kurallara uyar. Bir dize ya kalıbı karşılar ve kontrol basamağı testini geçer, ya da geçmez. Geçerli kural kümeleri için sıfır yanlış işaretleme.
Serbest metin için dil modelleri. Düz yazıdaki ad ve soyadlar, şirket etiketleri ve konumlar katı yapıdan yoksundur. NLP, kuralların yapamadığı yerde onları bulur. Güven puanları ve bağlam kontrolleri yanlış işaretleme oranını düşürür. Puan kademelerinin pratikte nasıl çalıştığı için İkili KKB Tespiti ve Uyumluluk için Güven Puanlaması yazısına bakın.
İnce kontrol için tür başına puan ayarları. Aşırı redaksiyon riskini göze alamayan hukuk ekipleri bulanık eşleşmeler için yüksek eşikler belirler. Yüksek hatırlama oranı isteyen araştırma ekipleri daha düşük eşikler belirler.
Sonuç, Presidio varsayılanlarından çok daha az hatadır. Kuralların tek başına çok fazla şeyi kaçıracağı yerlerde hatırlama oranı güçlü kalır.
Hukuki ve sağlık ekipleri için temel soru yanlış işaretlemelerin var olup olmadığı değildir. NLP sistemlerinde her zaman vardırlar. Soru, aracın bu dengeyi ayarlamanıza, ölçmenize ve belgelemenize izin verip vermediğidir.