בעיית הדיוק של 22.7% ב-Presidio
False positives בזיהוי PII גורמים נזק אמיתי. כאשר 77.3% ממה שהכלי שלך מסמן כ"שמות אנשים" אינם שמות אמיתיים, אינך מגן על פרטיות. אתה הורס נתונים.
מדד השוואה משנת 2024 בדק את מודל NER ברירת המחדל של Microsoft Presidio על מסמכים עסקיים. הבדיקה כיסתה דוחות פיננסיים, מכתבי לקוחות, מסמכי מוצר וכרטיסי תמיכה. התוצאה: דיוק של 22.7% לזיהוי שמות.
מספר זה מדהים. מכל 100 פריטים שסומנו, 23 הם שמות פרטים אמיתיים. האחרים 77 הם false positives — תוויות מוצר, מונחי מותג, או תוויות ערים.
שלושה מתוך ארבעה זיהויים שגויים. זו לא בעיית כיוון קטנה. זהו כלי שבור לעבודה על מסמכים עסקיים.
למה זה קורה
Presidio משתמש במודל en_core_web_lg של spaCy כברירת מחדל. מודל זה למד מטקסטי חדשות. בחדשות, רוב שמות העצם הפרטיים הם אנשים אמיתיים או מקומות.
מסמכים עסקיים שונים.
תוויות מוצר שנראות כשמות פרטיים. "Apple iPhone 15 Pro shipment records" מסומן כ-PERSON. כך גם "Samsung Galaxy Tab" ו-"Cisco Meraki deployment."
מונחי חברות עם חלקים דמויי שמות. ב-"Johnson Controls results," המילה "Johnson" מסומנת כ-PERSON. "Goldman Sachs portfolio" מפעיל את אותה שגיאה.
תוויות מיקום שמפעילות זיהוי אנשים. "Victoria Harbour project" מסמן את "Victoria" כ-PERSON. "Santiago hub" מסמן את "Santiago" באותה דרך.
למודל אין הקשר להבדיל בין "Apple" (חברה) ל-"Apple Smith" (אדם). פער זה הוא שורש רוב ה-false positives. טקסטי חדשות לימדו אותו לראות שמות עצם פרטיים כאנשים או מקומות. טקסטים עסקיים שוברים את הכלל הזה כל הזמן.
ההשפעה הנגזרת
חברת נתונים השתמשה ב-Presidio לניקוי סקרי לקוחות לפני שיתופם. ביקורת מצאה ארבע בעיות. ראשית, 40% מהסקרים הכילו תוויות מוצר שהוסרו בטעות. שנית, תוויות ערים נמחקו מכל תגובה. שלישית, אזכורי מותגים נמחקו מסט הניתוח. רביעית, סנטימנט לגבי מוצרים ספציפיים לא ניתן היה לקריאה.
צוות הניתוח קיבל טקסט מכוסה ללא כל אזכורי מוצר. הסקר המקורי כלל אזכור של iPhone Pro ומטען Apple. המשמעות הזו נעלמה.
החברה לא הגנה על פרטיות בצורה טובה יותר. היא שברה נתונים מבלי לרכוש ציות. Presidio הוחלף לאחר הביקורת.
ראו את סקירת הציות שלנו לגבי כיצד איכות הזיהוי משפיעה על מצבכם הרגולטורי.
גישה טובה יותר: זיהוי היברידי
הבעיה אינה ייחודית ל-Presidio. NER ברמת טוקן ללא הקשר תמיד יסבול מבעיה זו. הפתרון הוא זיהוי מבוסס-הקשר.
למה transformers עוזרים: מודל כמו XLM-RoBERTa קורא את המשפט המלא. "Apple announced its earnings" → Apple היא חברה. "Apple Smith joined the team" → Apple הוא שם פרטי. ההקשר אומר לך מה מה.
זה משפר את הדיוק תוך שמירה על recall גבוה. ראו את ההשוואה להלן.
| גישה | דיוק | Recall |
|---|---|---|
| Presidio NER ברירת מחדל | 22.7% | ~85% |
| Regex בלבד | ~95% | ~40% |
| היברידי (Regex + NLP + Transformer) | ~85% | ~80% |
הגישה ההיברידית מגיעה ל-85% דיוק. כלומר שיעור false positive של 15%. הרבה יותר טוב מ-77.3%. עבור מסמכים עסקיים, הפער הזה משמעותי.
הגישה ההיברידית כוללת ארבעה שלבים:
-
שכבת Regex: מוצאת מזהים מובנים — אימיילים, מספרי טלפון, SSN, IBAN. הפורמטים קבועים, כך שה-false positives נדירים. זה פועל ראשון.
-
שכבת NLP (spaCy): NER סטנדרטי לאנשים, חברות ומקומות. Recall גבוה, דיוק נמוך יותר.
-
שכבת Transformer (XLM-RoBERTa): מחשבת מחדש ציון לכל תוצאת NLP תוך שימוש בהקשר מלא של המשפט. "Apple" בהקשר מוצר מאבד את ציון הישות שלו. "John" בטקסט תלונה מרוויח אותו.
-
סף ביטחון: רק זיהויים מעל ציון מוגדר עוברים לפלט. הגביהו את הסף למקרי שימוש אנליטיים. הורידו אותו לזיהוי HIPAA.
תוצאות לאחר המעבר
חברת האנליטיקה עברה לזיהוי היברידי. השיפורים היו ברורים. False positives של תוויות מוצר ירדו מ-40% ל-3%. False positives של תוויות ערים צנחו לכמעט אפס. Recall של זהות אמיתית נשאר על ~82%, ירידה קלה מ-85%, אך הדיוק השתפר משמעותית.
הסקרים הפכו לשמישים שוב. "iPhone", "Apple", "Samsung" ו-"Chicago" נשארו בטקסט. שמות לקוחות בהקשרי תלונות הוסרו כהלכה.
זיהוי היברידי דורש יותר מחשוב. לעבודות גדולות, זמני הריצה ארוכים מעט. לרוב מקרי השימוש העסקיים, שיפור הדיוק שווה את זה. החברה יכלה להריץ ניתוח שוב. זה היה כל הנקודה של נתוני הסקר.
קראו על גישת הזיהוי שלנו בסקירת האבטחה.
מתי שיעורי false positive גבוהים מקובלים
חלק מהמקרים מעדיפים recall על פני דיוק.
HIPAA Safe Harbor: פספוס של true positive הוא הפרה. שיעור false positive של 10% בסדר אם PHI אמיתי לא מפוספס אף פעם. הסרה יתרה בטוחה יותר מהסרה חסרה.
סקירה משפטית: פספוס איש קשר חסוי עלול לוותר על חיסיון. False positives דורשים סקירה אך אינם יוצרים אחריות.
אנליטיקה עסקית: הסרה יתרה שוברת נתונים ללא רווח ציות. הדיוק חשוב יותר כאן. השתמשו בגישה היברידית עם סף ביטחון גבוה. זה שומר תוויות מותג ומונחי ערים בפלט. רק שמות אנשים אמיתיים מוסרים.
האיזון הנכון תלוי במקרה השימוש שלכם. כלים שמאפשרים לכם לקבוע את הסף נותנים לכם שליטה. אין ברירת מחדל יחידה שעובדת לכל הקשר.
ראו את ה-FAQ שלנו לשאלות נפוצות על ספי ומצבי זיהוי.
סיכום
שיעור דיוק של 22.7% פירושו ש-3 מתוך 4 זיהויים שגויים. עבור מסמכים עסקיים, זה הופך את הפלט לבלתי שמיש לניתוח. הוא גם מספק ביטחון שווא לגבי ציות.
זיהוי היברידי פותר זאת. הוא משלב regex, NLP וציון transformer. הנתונים נשארים שימושיים לאחר האנונימיזציה. שמות אנשים אמיתיים מוסרים. תוויות מותג, מונחי ערים ומזהי מוצרים נשארים.
אם עזבתם את Presidio בגלל בעיות false positive, זוהי הדרך קדימה. לא הגדרה חדשה של אותו מודל. ארכיטקטורה שונה שנבנתה להקשרי מסמכים עסקיים.
מקורות
Priva PII Benchmark 2024: הערכת דיוק Presidio. VERIFIED-EXTERNAL.
Microsoft Presidio: ישויות נתמכות וארכיטקטורת מודל. VERIFIED-EXTERNAL.
spaCy: נתוני אימון en_core_web_lg ומגבלות. VERIFIED-EXTERNAL.