NER Pelbagai Bahasa: Cabaran dalam Pengesanan PII
Dikemas kini untuk 2026
Jurang Ketepatan
Model NER yang dilatih dalam bahasa Inggeris mencapai F1 85–92% pada ujian piawai. Terapkan model yang sama pada teks Arab atau Cina. Ketepatan jatuh kepada 50–70%.
Untuk kerja PII, jurang itu adalah masalah. Kadar tembak 70% bermakna 30% data sensitif tidak kelihatan.
Punca-puncanya bukan pepijat. Ia berasal daripada perbezaan sistem penulisan.
Empat Punca Utama
1. Sempadan Perkataan
Bahasa Inggeris memisahkan perkataan dengan ruang. Tokenisasi adalah mudah.
Bahasa Cina tidak mempunyai ruang langsung.
"张伟住在北京"
→ Pisah dahulu: ["张伟", "住在", "北京"]
Model tidak boleh menanda apa yang tidak dapat ditemui. Pemisahan mesti datang sebelum NER.
Bahasa Arab menghubungkan huruf dalam perkataan. Vokal pendek ditinggalkan. Teks berjalan dari kanan ke kiri.
"محمد يعيش في دبي"
→ Tiada vokal pendek, kanan-ke-kiri, huruf bersambung
2. Morfologi
Kata kerja bahasa Inggeris berubah dalam beberapa cara. Arab menggunakan sistem akar. Satu akar mencipta berpuluh-puluh perkataan.
كتب (k-t-b, "tulis")
→ كاتب (penulis), كتاب (buku), مكتبة (perpustakaan)
NER mesti menghurai akar untuk mencari nama dalam bentuk perkataan terbitan.
3. Konvensyen Nama
Nama Latin meletakkan Nama Pertama dahulu kemudian Nama Akhir. Nama dalam bahasa RTL menghubungkan pautan keluarga.
محمد بن عبد الله
(Muhammad anak-kepada Abdullah)
Nama Cina meletakkan nama keluarga dahulu. Kebanyakan nama terdiri daripada dua atau tiga aksara.
张伟 (Zhang Wei) — 2 aksara
欧阳修 (Ouyang Xiu) — 3 aksara
Model yang dibina pada corak nama Barat akan terlepas struktur-struktur ini.
4. Arah Teks
Sesetengah bahasa berjalan dari kanan ke kiri. Apabila teks RTL mengandungi nama bahasa Inggeris, susunan visual dan susunan logik terpisah. Ini dipanggil teks BiDi. Ia memerlukan penghuraian yang berhati-hati.
Skor F1 Mengikut Sistem Penulisan
| Bahasa | Sistem Penulisan | Julat F1 | Tahap |
|---|---|---|---|
| Inggeris | Latin | 85–92% | Rendah |
| Jerman | Latin | 82–88% | Rendah |
| Perancis | Latin | 80–87% | Rendah |
| Sepanyol | Latin | 81–86% | Rendah |
| Rusia | Cyrillic | 75–83% | Sederhana |
| Arab | Abjad | 55–75% | Tinggi |
| Cina | Hanzi | 60–78% | Tinggi |
| Jepun | Bercampur | 65–80% | Tinggi |
| Thai | Thai | 50–70% | Sangat Tinggi |
| Hindi | Devanagari | 60–75% | Tinggi |
Sistem bukan Latin dan jurang perkataan yang tiada menurunkan skor secara keseluruhan.
Penyelesaian Tiga Tahap
Kami menggunakan tiga tahap untuk meliputi 48 bahasa dan sistem penulisan.
Tahap 1: spaCy — 25 Bahasa
Untuk bahasa dengan model yang kukuh dan telah diuji. Ini meliputi bahasa Inggeris, Jerman, Perancis, Sepanyol, Itali, Portugis, Belanda, Poland, Rusia, dan Greek.
Tahap 2: Stanza — Bahasa Kompleks
Stanford Stanza mengendalikan Arab, Cina, Jepun, dan Korea. Ia menjalankan pemisahan perkataan dan analisis akar sebelum NER.
Tahap 3: XLM-RoBERTa — Bahasa Sumber Rendah
Untuk bahasa tanpa model khusus. Thai, Vietnam, Hindi, Bengali, Hebrew, Turki, dan Farsi berada di sini. Ia mengendalikan teks pelbagai bahasa tanpa keperluan penanda eksplisit.
RTL dan BiDi
Teks kanan-ke-kiri memerlukan langkah tambahan melebihi pemisahan.
Saluran paip kami:
- Menormakan teks kepada susunan logik.
- Menjalankan NER pada susunan itu.
- Memetakan kedudukan entiti kembali kepada susunan visual.
Kami menanggalkan awalan yang melekat sebelum NER dan menambahkannya semula selepas itu.
"محمد" — nama sahaja
"لمحمد" — "kepada Muhammad" (awalan aktif)
Pertukaran Kod
Dokumen sebenar sering mencampurkan bahasa dalam satu baris.
"El meeting con John es at 3pm"
"我今天跟John去shopping"
Saluran paip kami memisahkan mengikut bahasa. Ia menjalankan model yang betul pada setiap bahagian. Kemudian ia menggabungkan keputusan dengan pemetaan kedudukan.
Penanda Aras Dalaman
Keputusan daripada ujian dalaman pada data pelbagai bahasa:
| Senario | F1 | |----------|----|| | Inggeris sahaja | 91% | | Jerman sahaja | 88% | | Arab sahaja | 79% | | Cina sahaja | 81% | | Campuran Inggeris-Arab | 83% | | Campuran Inggeris-Cina | 84% | | Campuran Inggeris-Jerman | 89% |
Nota Persediaan
Aplikasi desktop mengesan bahasa secara automatik setiap dokumen. Untuk fail pelbagai bahasa, ia memproses setiap segmen dengan model yang betul. Tiada langkah manual diperlukan.
Tetapkan bahasa dalam API apabila anda mengetahuinya:
{
"text": "محمد بن عبد الله",
"language": "ar"
}
Gunakan pengesanan automatik apabila anda tidak tahu:
{
"text": "محمد بن عبد الله",
"language": "auto"
}
Corak tersuai harus meliputi digit khusus lokasi:
# ID pekerja Latin
EMP-[0-9]{6}
# ID pekerja Arab (termasuk digit Arab-Indik)
موظف-[٠-٩0-9]{6}
Lihat senarai entiti penuh. Untuk persediaan API, lawati halaman ciri API. Panduan pematuhan GDPR kami merangkumi cara jurang pengesanan mempengaruhi undang-undang perlindungan data.
anonym.legal menggunakan tindanan NER tiga tahap — spaCy, Stanza, dan XLM-RoBERTa — untuk meliputi 48 bahasa dengan pengesanan PII yang konsisten.