זיהוי PII רב-לשוני לצרכי GDPR
עודכן ל-2026
הפער הנסתר ב-GDPR
ל-GDPR אין העדפת שפה. סעיף 4(1) מגדיר "נתונים אישיים" מבלי לציין את השפה בה הם מופיעים. Steuer-ID גרמני מוגן כמו מספר ביטוח לאומי אמריקאי. NIR צרפתי מוסדר כמו מספר ביטוח לאומי בריטי.
רוב כלי זיהוי PII נבנו לאנגלית בלבד.
מחקר מ-ACL 2024 מצא שכלי NLP היברידיים מגיעים לציוני F1 של 0.60–0.83 לאזורי אירופה. כלים לאנגלית בלבד מציינים קרוב לאפס עבור פורמטי מזהה לאומי לא-אנגליים. הפער בולט. כלי עשוי לתפוס 95% מ-PII אנגלי. אך הוא מפספס 40–60% מ-PII גרמני, צרפתי, פולני או הולנדי באותו קובץ. זוהי בעיה רצינית. היא מותירה חברות חשופות.
זהו פער GDPR אמיתי. הוא משפיע על כמעט כל חברה גלובלית המשתמשת בכלי חסימה ממוקדי-אנגלית. ראו את מדריך ה-GDPR שלנו לפרטים נוספים.
מדוע PII ספציפי לאזור
לזיהוי PII יש שני חלקים.
הראשון הוא סריקה מבוססת תבנית. זה מכסה מזהים מובנים כמו מספרי מס ופורמטי טלפון.
השני הוא סריקה מבוססת NER. זה מכסה ישויות קונטקסטואליות כמו שמות וכתובות.
שני החלקים תלויים באזור.
מזהים מובנים שונים לפי מדינה
| מדינה | מזהה מס | פורמט | אימות |
|---|---|---|---|
| גרמניה | Steuer-ID | 11 ספרות | Modulo-11 |
| צרפת | NIR | 15 ספרות + מפתח 2 ספרות | INSEE |
| שוודיה | Personnummer | 10 ספרות | Luhn |
| פולין | PESEL | 11 ספרות | Modulo-10 |
| הולנד | BSN | 9 ספרות | Elfproef |
| ספרד | DNI/NIE | 8 ספרות + אות | Modulo-23 |
| איטליה | Codice Fiscale | 16 תווים | Checksum מותאם |
regex אנגלי עבור SSN (NNN-NN-NNNN) לא יתאים לאף אחד מהפורמטים האלה. כל אחד דורש regex משלו. כל אחד גם דורש לוגיקת checksum משלו.
NER דורש מודלים ילידיים
שמות גרמניים שונים משמות אנגליים. "Hans-Dieter Müller" ברור למודל גרמני ילידי. מודל שהואמן על אנגלית לעיתים קרובות מפספס שמות כאלה.
תוצאות חיוביות שגויות הן גם בעיה. מעקב הבעיות של Microsoft Presidio מראה מילים גרמניות שמסווגות בטעות כ-PII אנגלי. המילה "Null" (גרמנית לאפס) היא דוגמה. היא מפעילה פגיעות שם שגויות במודלים שהואמנו על אנגלית. בשימוש ייצורי, שיעורי שגיאות מתנפחים ל-3 תוצאות חיוביות שגויות לכל ישות אמיתית (Alvaro et al., 2024).
סיכון רגולטורי
גופי נתוני האיחוד האירופי מודעים לבעיה זו. מספר DPA לאומיים פרסמו הנחיות.
BfDI גרמני: GDPR סעיף 5(1)(f) חל על כל הרשומות. הוא מכסה נתונים לא-אנגליים שעובדו על ידי כלי צד שלישי.
CNIL צרפתי: דוח CNIL השנתי לשנת 2024 העלה חששות. הוא סימן כלי AI שמטפלים ברשומות צרפתיות ללא סריקת PII לאזור צרפת.
DPA של האיחוד האירופי בגדול: GDPR סעיף 25 (פרטיות כברירת מחדל) דורש אמצעי הגנה המתאימים לרשומות האמיתיות שמעובדות. זה כולל PII לא-אנגלי בפריסות גלובליות.
הסיכון ברור. חברה עשויה להראות זיהוי PII של 95% על תוכן אנגלי בביקורת GDPR. אך אם היא גם מטפלת ברשומות גרמניות, צרפתיות ופולניות עם אותו כלי, פערים יופיעו. מבקרים שמים לב. קנסות יכולים לבוא. ראו את דף האמצעים שלנו כיצד אנחנו מתמודדים עם זה.
עיצוב תלת-שכבתי
מחקר ושימוש בייצור מסכימים על עיצוב היברידי תלת-שכבתי כגישה הטובה ביותר.
שכבה 1: מודלי spaCy ילידיים
spaCy מספק מודלים מאומנים ל-25 אזורים. אלה כוללים גרמנית, צרפתית, ספרדית, פורטוגלית, איטלקית, הולנדית, רוסית, סינית, יפנית, קוריאנית ופולנית. כל מודל מאומן על טקסט ילידי. הם לומדים את הסינטקס ותבניות הישויות של כל אזור. זה חשוב. אימון ילידי פירושו היקף טוב יותר ופחות תוצאות חיוביות שגויות.
לגרמנית: de_core_news_lg מטפל בשמות מרוכבים ותבניות שמות גרמניות.
לצרפתית: fr_core_news_lg מטפל בישויות צרפתיות, כותרות, שמות מקומות וארגונים.
מודלים ילידיים עולים על מודלים בין-לשוניים לסריקת שמות באזורים עם משאבים גבוהים.
שכבה 2: Stanza לאזורים נוספים
ספריית Stanza של Stanford מכסה אזורים שאינם ב-spaCy. אלה כוללים קרואטית, סלובנית ואוקראינית. זה מוסיף טווח לקבוצות דוברים באיחוד האירופי ש-spaCy לא משרתת. Stanza היא חינמית וקוד פתוח. היא משתלבת היטב עם שאר הסטאק.
שכבה 3: XLM-RoBERTa לכיסוי רחב
לאזורים שבהם spaCy ו-Stanza חסרים מודלי NER, XLM-RoBERTa ממלא את הפער. הוא מאומן על טקסט Common Crawl ב-100 אזורים. הוא משיג F1 בין-לשוני של 91.4% לזיהוי PII (HuggingFace 2024). הוא מטפל היטב בעירוב קודים. זהו מאפיין מרכזי. הוא חשוב כאשר מסמך אחד מכיל טקסט במספר אזורים בו זמנית.
בקרו במסמכי מערכת הטוקנים שלנו לראות כיצד קריאות API מתרחבות עם נפח רב-לשוני.
סוגי ישויות ספציפיים לאזור
מודלים לבד אינם מספיקים. התאמה ל-GDPR דורשת גם טווח סוג ישות למזהים ספציפיים למדינה.
מזהים לאומיים של האיחוד האירופי לפי מדינה:
- DE: Steuer-ID, Sozialversicherungsnummer, Personalausweisnummer
- FR: NIR, SIREN, SIRET
- PL: PESEL, NIP, REGON
- NL: BSN
- SE: Personnummer, Samordningsnummer
- ES: DNI, NIE, NIF, CIF
- IT: Codice Fiscale, Partita IVA
פורמטי טלפון: לכל מדינה באיחוד האירופי יש מבני קידומת ייחודיים. +49, +33 ו-+48 כל אחד דורש לוגיקת אימות משלו.
פורמטי כתובת: מיקוד משתנה מאוד. PLZ גרמני משתמש ב-5 ספרות. קודים צרפתיים משתמשים ב-5 ספרות (טווח 01–99). מיקודים בריטיים הם אלפאנומריים. קודים ספרדיים משתמשים ב-5 ספרות (01000–52999).
מקרה עולם אמיתי: חברה שוויצרית בתחום הפארמה
חברה שוויצרית מעבדת חוזי עבודה. כל חוזה מערבב טקסט גרמני, צרפתי ואנגלי. לשוויץ יש ארבע שפות רשמיות. הכלי שלהם היה מוגדר לגרמנית בלבד. הוא פספס את כל ה-PII בחלקים הצרפתיים.
חוזה לעובד מבסיס ג'נבה כלל מספר AVS צרפתי (13 ספרות), IBAN בנקאי שוויצרי ושם בפורמט צרפתי. הכלי לגרמנית בלבד פספס את השם בפורמט צרפתי. הוא לא מצא את מספר ה-AVS הצרפתי. הוא זיהה את ה-IBAN רק חלקית.
גישת שלוש השכבות מעבדת את כל המסמך. היא מזהה אזור לכל קטע טקסט. היא מחילה את מודל ה-NER הנכון לכל חלק. היא מאמתת כל מזהה לאומי עם לוגיקת המדינה הנכונה.
מסמכים מעורבי-אזורים
המקרה הקשה ביותר הוא ערבוב אזורים בתוך מסמך. דוגמאות:
- חוזה אנגלי של חברה גרמנית עם רשומות עובדים גרמניות (שמות, מזהי מס)
- טופס הסכמת GDPR צרפתי עם קטע פרטיות אנגלי
- צ'אט שבו הנציג עונה באנגלית והלקוח כותב בערבית
XLM-RoBERTa מטפל בזה באופן ילידי. הוא לא דורש סימוני אזור מפורשים. הוא מעבד טקסט מעורב-אזורים ללא פיצול מקדים. זה חוסך זמן. הוא גם מונע שגיאות מפיצולים פגומים.
לשימוש בייצור, שילוב זיהוי אזור אוטומטי (ברמת משפט) עם הסקת XLM-RoBERTa נותן טיפול חזק במסמכים מעורבי-אזורים.
שלבים מעשיים
בצעו ביקורת על טווח הכלי שלכם. שאלו את ספק החסימה שלכם על ציוני F1 עבור האזורים הספציפיים שלכם. "תומך ב-20 שפות" לעיתים קרובות פירושו שהכלי מנתב טקסט דרך תרגום מכונה תחילה. זו לא סריקה ילידית.
מפו את הרשומות שלכם לאזורים. בצעו מלאי רשומות הכולל פיזור אזורים. חברה גלובלית עם 70% אנגלית, 20% גרמנית ו-10% צרפתית מתמודדת עם סיכונים שונים. אחת עם 95% אנגלית נמצאת בעמדה שונה.
בדקו עם דגימות מזהה לאומי. בנו מאגר בדיקות עם 10 דוגמאות של המזהים הלאומיים בפעילות שלכם — Steuer-ID, NIR, PESEL, BSN ואחרים. אמתו שיעורי זיהוי. זה מהיר יותר מבדיקת F1 מלאה.
עיינו ב-DPIA שלכם. בדקו אם טווח אזורים כלול. DPIA לא שלמה המניחה רשומות לאנגלית בלבד עשויה להזדקק לעדכון. פעלו כעת. אל תחכו לביקורת שתמצא את הפער.
להגדרות סוג ישות מלאות, ראו את עיון הישויות והFAQ. לתוכניות ושיעורי קריאת API, בקרו בתמחור.
מנוע זיהוי PII של anonym.legal משתמש בגישה רב-לשונית תלת-שכבתית. הוא מכסה 25 אזורים עם משאבים גבוהים דרך מודלי spaCy ילידיים. Stanza מוסיפה טווח אזורים נוסף. Transformers בין-לשוניים XLM-RoBERTa מרחיבים את הטווח ל-48 אזורים. סוגי ישויות ספציפיים למדינה לכל מדינות האיחוד האירופי כלולים.