KBV Tespit Araçlarındaki Yanlış Pozitif Maliyeti
2026 için güncellendi
KBV araçlarının çoğu geri çağırma oranına göre değerlendiriliyor. Geri çağırma, aracın gerçek KBV'nin ne kadarını bulduğunu ölçüyor. Ancak hassasiyet de en az o kadar önemli. Hassasiyet, aracın uyarılarının ne kadarının gerçek KBV olduğunu ölçüyor.
Düşük hassasiyet maliyetlidir. %95 geri çağırma ve %22,7 hassasiyete sahip bir sistem çoğu KBV'yi yakalıyor. Ancak işaretlediği her gerçek KBV varlığı için 3,4 yanlış uyarı da üretiyor. 10.000 gerçek KBV varlığı barındıran bir veri setinde bu sistem yaklaşık 44.000 uyarı tetikliyor. Bunların 34.000'i yanlış. Her biri inceleme zamanı alıyor ya da aşırı düzenlemeye yol açıyor.
Bu yanlış pozitif maliyeti. Yüksek geri çağırma, düşük hassasiyetli bir KBV sistemini ölçekte çalıştıran her ekibin ödediği ek yük. Doğrudan maliyet inceleme zamanı. Dolaylı maliyet daha ağır: Aşırı düzenlenmiş belgeler yararlı verileri gizliyor, işleri yavaşlatıyor ve araca olan güveni aşındırıyor.
Presidio Sorunu #1071'in Gösterdikleri
Microsoft Presidio GitHub tartışması #1071 (2024) belirli bir örüntüyü kayıt altına alıyor. TFN (Vergi Dosya Numarası) ve PCI tanıyıcıları sağlama toplamı doğrulaması kullanıyor. Sağlama toplamını geçen numaralar 1,0 puan alıyor — maksimum güven. KBV bağlamı gerekmiyor.
Temel neden: Bağlam kelime denetimi sağlama toplamı adımından sonra değil, önce çalışmalı. Sağlama toplamını geçen bir numara, çevresindeki metinden bağımsız olarak en yüksek puanı alıyor. Finansal tablolarda, bilimsel veri setlerinde veya günlük dosyalarında bu durum çıktıyı yanlış uyarılarla dolduruyor. Puan eşiği filtrelemesi bunu düzeltemiyor. Puanlar zaten maksimumda.
Presidio sorunu #999'da ikinci bir örüntü görünüyor. Almanca sözcük bölümleme bileşik isimler için bozuluyor. Bundesbehörde (federal otorite) gibi kelimeler yanlış bölünebiliyor ve kişi adı olarak etiketlenebiliyor. Bu durum Almanca belgelerinde gürültü ekliyor.
%22,7 Hassasiyet Sorunu
Alvaro ve ark. (2024) Presidio'yu karma dilli kurumsal veri setleri üzerinde test etti. Sonuç: %22,7 hassasiyet. Gerçek belgelerde dört Presidio uyarısından yalnızca biri gerçek bir KBV varlığı. Bu, uygulayıcıların aktardıklarıyla örtüşüyor. Yalnızca geri çağırma için ayarlanan araç, üretim kullanımı için çok fazla gürültü üretiyor.
2024 DICOM araştırması, score_threshold değerini 0,7'ye yükseltmenin 39 tıbbi görüntüden 38'inde hâlâ yanlış uyarı bıraktığını gösterdi. Bir belge türündeki gürültüyü temizleyen eşik, başka bir türde kaçırmalara neden oluyor.
Bu yalnızca Presidio'ya özgü bir sorun değil. Sabit eşik her zaman bir değiş tokuş yaratıyor. Yüksek eşik gürültüyü azaltıyor ama kaçırmayı artırıyor. Düşük eşik geri çağırmayı artırıyor ama uyarı sayısını şişiriyor.
Bağlam Duyarlı Puanlama
Çözüm, bağlam duyarlı güven puanlaması. Sistem yalnızca desen eşleşmesine göre puanlamak yerine eşleşmenin yakınında bağlam kelimeleri bulunduğunda güveni artırıyor. Bağlam yoksa puanı düşürüyor.
TFN tespiti için: Numaranın yakınındaki "vergi dosya numarası", "TFN" veya "Avustralya vergisi" gibi kelimeler puanı yükseltiyor. Sağlama toplamını geçen ama yakınında bağlam kelimesi olmayan bir numara inceleme eşiğinin altında puan alıyor. Sahte uyarı bastırılıyor.
Çapraz dil gürültüsü için: Belirli ülkelere bağlı varlık türleri ilgili dildeki belgelerle sınırlandırılabiliyor. TFN algılayıcısını İngilizce ve Avustralya İngilizcesiyle kısıtlamak gürültüyü azaltıyor. Kısıtlama olmadan Almanca içerikte çalıştırmak sorunun kaynağı.
Hybrid sistemin üçüncü katmanı bir transformer model. Her adayın etrafındaki tam bağlam penceresini okuyor. "John Smith, Hasta Kimliği 12345" ile bir isim deseniyle eşleşen ürün kodunu birbirinden ayırt ediyor. Bağlam, regex ve sağlama toplamlarının çözemeyeceği belirsizlikleri çözüyor.
Üç katmanlı tespit motorunun ölçekte hassasiyeti nasıl işlediğini görün. Çok dilli KBV tespit rehberi çapraz dil gürültüsünün GDPR uyumunu nasıl etkilediğini ele alıyor.
Pratik Adımlar
Herhangi bir KBV aracını dağıtmadan önce yalnızca geri çağırmayı değil, hassasiyetini de ölçün.
Aracı bilinen KBV ve bilinen KBV olmayan içerik barındıran bir belge seti üzerinde çalıştırın. Her iki grupta da uyarıları sayın. doğru_pozitif / (doğru_pozitif + yanlış_pozitif) hesabını yapın. Bu sayı, dağıtıma bağlanmadan önce inceleme yükünü ortaya koyuyor.
Presidio kullanan ekipler için puan dağılımı analizi hızlı bir yol. Güven puanlarıyla birlikte tespit örneklerini dışa aktarın. 0,6, 0,7 ve 0,8 altında kaç tanesinin puan aldığını sayın. Temiz metinde yüksek puanlı uyarıların büyük payı, bir eşik sorunu değil bir bağlam açığına işaret ediyor. Güvenlik uyumu genel bakışı bunu bir VGD'de nasıl belgeleyeceğinizi açıklıyor.
Kaynaklar
- Microsoft Presidio GitHub Tartışması #1071: Sistematik yanlış pozitifler.
- Microsoft Presidio GitHub Sorunu #999: Almanca yanlış pozitif örüntüleri.
- Alvaro ve ark. (2024): Karma dilli kurumsal veri setlerinde Presidio hassasiyeti.
- DICOM puan eşiği analizi — Microsoft Presidio topluluğu.