التعرف على الكيانات متعدد اللغات: تحديات في اكتشاف PII
محدَّث لعام 2026
فجوة الدقة
نماذج التعرف على الكيانات المدرَّبة على الإنجليزية تحقق درجات F1 تتراوح بين 85 و92% على الاختبارات المعيارية. طبّق تلك النماذج ذاتها على النصوص العربية أو الصينية، وستنخفض الدقة إلى 50–70%.
بالنسبة للعمل المتعلق بـPII، هذه الفجوة مشكلة. معدل اكتشاف 70% يعني أن 30% من البيانات الحساسة تمر دون رصد.
الأسباب ليست أخطاء. إنها تنبع من اختلافات في طريقة عمل أنظمة الكتابة.
أربعة أسباب جذرية
1. حدود الكلمات
الإنجليزية تفصل الكلمات بمسافات. عملية التوكنة سهلة.
الصينية لا تحتوي على مسافات إطلاقاً.
"张伟住在北京"
→ الفصل أولاً: ["张伟", "住在", "北京"]
لا يمكن للنموذج تصنيف ما لا يستطيع العثور عليه. يجب أن يسبق الفصلُ التعرفَ على الكيانات.
العربية تصل الحروف داخل الكلمة. الحركات القصيرة تُحذف. النص يسير من اليمين إلى اليسار.
"محمد يعيش في دبي"
→ بدون حركات قصيرة، من اليمين لليسار، حروف متصلة
2. الصرف
الأفعال الإنجليزية تتغير بطرق محدودة. العربية تستخدم نظام الجذور. جذر واحد ينتج عشرات الكلمات.
كتب (ك-ت-ب، "يكتب")
→ كاتب (الكاتب)، كتاب (الكتاب)، مكتبة (المكتبة)
يجب على التعرف على الكيانات تحليل الجذور لإيجاد الأسماء في الأشكال الاشتقاقية للكلمات.
3. اصطلاحات الأسماء
الأسماء اللاتينية تضع الاسم الأول ثم الأخير. أسماء اللغات التي تُكتب من اليمين إلى اليسار تسلسل روابط عائلية.
محمد بن عبد الله
(محمد ابن عبد الله)
الأسماء الصينية تضع اسم العائلة أولاً. معظم الأسماء تتكون من حرفين أو ثلاثة.
张伟 (Zhang Wei) — حرفان
欧阳修 (Ouyang Xiu) — 3 أحرف
نموذج مبني على أنماط أسماء غربية سيُخطئ في هذه البنى.
4. اتجاه النص
بعض اللغات تسير من اليمين إلى اليسار. عندما يحتوي النص ثنائي الاتجاه على اسم إنجليزي، يتفاوت الترتيب البصري والمنطقي. يُسمى هذا BiDi. يتطلب تحليلاً دقيقاً.
درجات F1 حسب نظام الكتابة
| اللغة | نظام الكتابة | نطاق F1 | المستوى |
|---|---|---|---|
| الإنجليزية | لاتيني | 85–92% | منخفض |
| الألمانية | لاتيني | 82–88% | منخفض |
| الفرنسية | لاتيني | 80–87% | منخفض |
| الإسبانية | لاتيني | 81–86% | منخفض |
| الروسية | سيريلي | 75–83% | متوسط |
| العربية | أبجد | 55–75% | مرتفع |
| الصينية | هانزي | 60–78% | مرتفع |
| اليابانية | مختلط | 65–80% | مرتفع |
| التايلاندية | تايلاندي | 50–70% | مرتفع جداً |
| الهندية | ديوناغاري | 60–75% | مرتفع |
الأنظمة غير اللاتينية وغياب فجوات الكلمات يخفّضان الدرجات عبر الجميع.
حل ذو ثلاث طبقات
نستخدم ثلاث طبقات لتغطية 48 لغة ونظام كتابة.
الطبقة 1: spaCy — 25 لغة
للغات التي تمتلك نماذج قوية ومختبرة. يشمل ذلك الإنجليزية والألمانية والفرنسية والإسبانية والإيطالية والبرتغالية والهولندية والبولندية والروسية واليونانية.
الطبقة 2: Stanza — اللغات المعقدة
يتعامل Stanford Stanza مع العربية والصينية واليابانية والكورية. ينفّذ تقسيم الكلمات وتحليل الجذور قبل التعرف على الكيانات.
الطبقة 3: XLM-RoBERTa — اللغات قليلة الموارد
للغات التي لا تمتلك نماذج مخصصة. التايلاندية والفيتنامية والهندية والبنغالية والعبرية والتركية والفارسية تذهب هنا. يتعامل مع النص متعدد اللغات دون الحاجة إلى علامات صريحة.
النص ثنائي الاتجاه و BiDi
النص من اليمين إلى اليسار يحتاج خطوات إضافية تتجاوز التقسيم.
خط أنابيبنا:
- ينظّم النص إلى الترتيب المنطقي.
- ينفّذ التعرف على الكيانات على ذلك الترتيب.
- يعيد رسم مواضع الكيانات إلى الترتيب البصري.
نجرّد البادئات المُلحقة قبل التعرف على الكيانات ونعيدها بعده.
"محمد" — الاسم فقط
"لمحمد" — "لمحمد" (مع بادئة)
التحويل بين الرموز
المستندات الحقيقية غالباً تمزج اللغات في سطر واحد.
"El meeting con John es at 3pm"
"我今天跟John去shopping"
يقسم خط أنابيبنا حسب اللغة. ينفّذ النموذج المناسب على كل جزء. ثم يجمع النتائج مع رسم المواضع.
معايير داخلية
نتائج من اختبارات داخلية على بيانات متعددة اللغات:
| السيناريو | F1 |
|---|---|
| الإنجليزية فقط | 91% |
| الألمانية فقط | 88% |
| العربية فقط | 79% |
| الصينية فقط | 81% |
| مزيج إنجليزي-عربي | 83% |
| مزيج إنجليزي-صيني | 84% |
| مزيج إنجليزي-ألماني | 89% |
ملاحظات الإعداد
يكتشف تطبيق سطح المكتب اللغة تلقائياً لكل مستند. للملفات متعددة اللغات، يعالج كل مقطع بالنموذج المناسب. لا خطوة يدوية مطلوبة.
عيّن اللغة في API عندما تعلمها:
{
"text": "محمد بن عبد الله",
"language": "ar"
}
استخدم الاكتشاف التلقائي عندما لا تعلم:
{
"text": "محمد بن عبد الله",
"language": "auto"
}
يجب أن تغطي الأنماط المخصصة الأرقام الخاصة بالموقع:
# معرّف موظف لاتيني
EMP-[0-9]{6}
# معرّف موظف عربي (يشمل الأرقام العربية الهندية)
موظف-[٠-٩0-9]{6}
aطّلع على قائمة الكيانات الكاملة. لإعداد API، زر صفحة مزايا API. يغطّي دليل الامتثال لـ GDPR كيفية تأثير فجوات الاكتشاف على قانون حماية البيانات.
تستخدم anonym.legal خط أنابيب ثلاثي الطبقات للتعرف على الكيانات — spaCy وStanza وXLM-RoBERTa — لتغطية 48 لغة باكتشاف PII متسق.