PII רב-לשוני: מדוע כלים חד-לשוניים מחמיצים.
עודכן לשנת 2026.
מסמכים חוצים גבולות לשוניים.
חוזה עבודה של חברת פרמה שוויצרית אינו כתוב בשפה אחת. לשווייץ ארבע שפות רשמיות. חברות שוויצריות משלבות גרמנית בגוף המסמך, צרפתית בסעיפים משפטיים ואנגלית בפרקים גלובליים. זה יכול לקרות בפסקה אחת.
פרוטוקול דירקטוריון בלגי כולל טקסט הולנדי, חלקים פורמליים בצרפתית וסיכומים באנגלית. הסכם מידע גלובלי עשוי לכלול מפרטים טכניים באנגלית וסעיפי זכויות בגרמנית.
זה אינו נדיר. זהו הנורמה עבור חברות DACH ואיחוד אירופי. כלי PII חד-לשוניים נכשלים על קבצים אלו.
פער שיעור החמצה של 45%.
לכלי NER חד-לשוניים יש שיעור החמצת PII גבוה ב-45% על קבצים מעורבים. בהשוואה לקבצים בשפה יחידה.
הסיבה השורשית היא עיצוב. מודל שאומן על טקסט גרמני מכיר צורות שמות מקומיות וכללי כתובות. כשהוא פוגש קטע בצרפתית, הוא מחוץ לטווח האימון שלו. שמות ומזהים בחלק זה מקבלים זיהוי לקוי. המודל אינו חלש — הוא נבנה לשפה אחרת.
EDPB 2024 מצא ש72% מחברות האיחוד האירופי מעבדות קבצים בשלוש שפות ומעלה בו-זמנית. Gartner 2024 מצא שקבצי HR רב-לשוניים מכילים 67% יותר PII לעמוד בהשוואה לקבצים חד-לשוניים. יותר PII בצירוף יותר החמצות מגדיל את הפער.
ראו את מדריך GDPR שלנו לכללים החלים.
היכן מתרכזים שגיאות.
הכישלון אינו אחיד בכל הקובץ. PII בנקודות מעבר בין קטעים נמצא בסיכון הגבוה ביותר.
שקלו סעיף זה: מבנה משפט גרמני, שם עובד צרפתי ותאריך לידה צרפתי — הכל בשורה אחת. מודל NER רואה את השם הצרפתי במקום שבו הוא מצפה לשם מקומי. ייתכן שלא יסמן אותו. מודל שאומן על צרפתית רואה את מילות ההקשר הגרמניות ואינו יכול לקרוא את המבנה.
קבצי HR הופכים זאת לעלות יקרה. Gartner מצא 67% יותר PII לעמוד בקבצי HR מעורבים. שגיאות בנקודות מעבר פוגעות ביותר בסוג הקובץ עם הכי הרבה נתונים אישיים.
מודלים רב-לשוניים פותרים את זה.
XLM-RoBERTa מאומן על טקסט מ-100 שפות בו-זמנית. הוא אינו משתמש במודל חדש לכל שפה. הוא לומד שזיהוי שמות פועל באותה דרך בפני הקשרים לשוניים שונים. שם והקשרו חולקים את אותו מבנה בגרמנית, צרפתית ואנגלית.
עבור קבצים מעורבים, המודל אינו עובר למצב אחר בנקודת מעבר קטעים. הוא קורא את הטקסט המלא כבלוק אחד. הוא מיישם את אותם כללי ישויות בכל נקודה.
כיול עדין על גרמנית וצרפתית מוסיף דיוק לכל שפה בנפרד. אבל הבסיס הרב-לשוני תופס PII בנקודות מעבר שבהן מודלים חד-לשוניים נכשלים.
עבור חברות DACH שקבציהן חוצים קטעים לשוניים, זהו רווח אמיתי. ישויות שמחמיצים כלים חד-לשוניים בנקודות מעבר נמצאות על ידי מודלים רב-לשוניים.
ראו את דף הבטוחות שלנו לאופן שבו anonym.legal מטפלת בכך.
צעדים לנקיטה עכשיו.
בדקו את היקף הכלי שלכם. בקשו מהספק ציוני recall לפי לוקאל. "תומך בשפות רבות" יכול לאמר שהטקסט עובר תרגום מכוני קודם. זה אינו סריקה מקורית.
מפו את הקבצים שלכם לפי לוקאל. חברת DACH עם 60% גרמנית, 30% צרפתית ו-10% אנגלית מציגה פערים שונים.
בדקו עם דוגמאות מנקודות מעבר. בנו קבוצת בדיקה עם עשר דוגמאות סעיפים רב-לשוניים. בדקו recall בכל הקובץ, לא רק בחלקי השפה הראשית.
בדקו את ה-DPIA שלכם. DPIA שנבנה על רשומות חד-לשוניות עשוי להיות חלקי. תקנו לפני שהביקורת תעשה זאת.
לפרטי API וכיסוי ישויות, ראו את דף התמחור.
anonym.legal משתמשת ב-XLM-RoBERTa בשילוב מודלי spaCy ו-Stanza מקוריים. היא מוצאת PII בנקודות מעבר בין קטעים בגרמנית, צרפתית, אנגלית ו-45 לוקאלים נוספים.