Vecjezicni NER: Izzivi pri zaznavanju PII
Posodobljeno za leto 2026
Vrzel v natancnosti
Modeli NER, usposobljeni na anglescini, dosegajo 85-92 % F1 na standardnih testih. Aplicirajte iste modele na arabsko ali kitajsko besedilo. Natancnost pade na 50-70 %.
Za delo s PII je ta vrzel problem. 70-odstotna stopnja zadetkov pomeni, da 30 % obcutljivih podatkov ostane neopazenih.
Vzroki niso napake. Izhajajo iz razlik v pisnih sistemih.
Stiri temeljni vzroki
1. Meje besed
Anglescina loci besede s presledki. Tokenizacija je enostavna.
Kitajscina nima presledkov sploh.
"Zhangwei zhu zai Beijing"
-> Najprej razdeli: ["Zhang Wei", "zhu zai", "Beijing"]
Model ne more oznaciti tistega, cesar ne najde. Delitev mora priti pred NER.
Arabski crkovnik znotraj besed. Kratki samoglasniki so izpusceni. Besedilo tece od desne proti levi.
"Muhammad ya'ish fi Dubai"
-> Brez kratkih samoglasnikov, desno-levo, vezani crkovniki
2. Morfologija
Angleske glagolske oblike se spremenijo na malo nacinov. Arabscina uporablja korenski sistem. En koren ustvari ducate besed.
k-t-b ("pisati")
-> katib (pisec), kitab (knjiga), maktaba (knjiznica)
NER mora razcleniti korene, da najde imena v izpeljanih oblikah besed.
3. Konvencije imen
Latinska imena gredo Ime potem Priimek. Imena v jezikih od desne proti levi verigenj druzinskih vez.
Muhammad ibn Abd Allah
(Muhammad sin Abdullaha)
Kitajska imena postavljajo druzinsko ime na prvo mesto. Vecina imen je dolga dva ali tri znake.
Zhang Wei - 2 znaka
Ouyang Xiu - 3 znaki
Model, zgrajen na zahodnih vzorcih imen, bo te strukture zamudil.
4. Smer besedila
Nekateri jeziki tecejo od desne proti levi. Ko besedilo RTL vsebuje anglesko ime, se vizualni in logicni red locita. To se imenuje besedilo BiDi. Zahteva skrbno razclenjievanje.
Vrednosti F1 po pisnih sistemih
| Jezik | Pisni sistem | Razpon F1 | Stopnja |
|---|---|---|---|
| Anglescina | Latinica | 85-92 % | Nizka |
| Nemscina | Latinica | 82-88 % | Nizka |
| Francos cina | Latinica | 80-87 % | Nizka |
| Spanscina | Latinica | 81-86 % | Nizka |
| Ruscina | Cirilica | 75-83 % | Srednja |
| Arabscina | Abdzkad | 55-75 % | Visoka |
| Kitajscina | Hanzi | 60-78 % | Visoka |
| Japonscina | Mesano | 65-80 % | Visoka |
| Tajscina | Tajski | 50-70 % | Zelo visoka |
| Hindujscina | Devanagari | 60-75 % | Visoka |
Ne-latinski sistemi in manjkajoci presledki med besedami znizujejo rezultate.
Trostopenjska resitev
Uporabljamo tri stopnje za pokritost 48 jezikov in pisnih sistemov.
Stopnja 1: spaCy - 25 jezikov
Za jezike z mocnimi, preizkusenimi modeli. To pokriva anglescino, nemscino, francos cino, spanscino, italijan scino, portugals cino, nizozemscino, poljs cino, ruscino in grs cino.
Stopnja 2: Stanza - Zapleteni jeziki
Stanford Stanza obravnava arabscino, kitajscino, japonscino in korejscino. Izvaja delitve besed in analizo korenov pred NER.
Stopnja 3: XLM-RoBERTa - Jeziki z malo viri
Za jezike brez namenskin modelov. Sem gredo tajscina, vijetnamscina, hindujscina, bengalscina, hebrejscina, turscina in farscina. Obravnava mesano jezikovno besedilo brez eksplicitnih zastavic.
RTL in BiDi
Besedilo od desne proti levi potrebuje dodatne korake po delitvi.
Nas cevovod:
- Normalizira besedilo v logicni red.
- Zazene NER v tem redu.
- Preslika polozaje entitet nazaj v vizualni red.
Pred NER odstranimo pripete predpone in jih po tem dodamo nazaj.
"Muhammad" -- samo ime
"li-Muhammad" -- "Muhammadu" (predpona vkljucena)
Preklop kode
Pravi dokumenti pogosto mesajo jezike v eni vrstici.
"El meeting con John es at 3pm"
"Danes sem s Johnom sel shopping"
Nas cevovod razdeli po jeziku. Za vsak del zazene pravi model. Nato zdruzi rezultate s preslikavo polozajev.
Notranje primerjave
Rezultati iz notranjih testov na mesanojezikovnih podatkih:
| Scenarij | F1 |
|---|---|
| Samo anglescina | 91 % |
| Samo nemscina | 88 % |
| Samo arabscina | 79 % |
| Samo kitajscina | 81 % |
| Mes. anglescina-arabscina | 83 % |
| Mes. anglescina-kitajscina | 84 % |
| Mes. anglescina-nemscina | 89 % |
Opombe za namestitev
Namizna aplikacija samodejno zazna jezik po dokumentu. Za mesanojezikovne datoteke obdela vsak segment s pravim modelom. Nobenega roc nega koraka ni potrebno.
Nastavite jezik v API, ko ga poznate:
{
"text": "Muhammad ibn Abd Allah",
"language": "ar"
}
Uporabite samodejno zaznavanje, ko ga ne poznate:
{
"text": "Muhammad ibn Abd Allah",
"language": "auto"
}
Po meri vzorci morajo pokrivati lokalno specificne stevilke:
# Latinicna ID zaposlovalca
EMP-[0-9]{6}
# Arabska ID zaposlovalca (vkljucno z arabsko-indijskimi stevilkami)
Muwazzaf-[arabske-stevilke 0-9]{6}
Oglejte si celoten seznam entitet. Za nastavitev API obiscite stran funkcij API. Nas vodic za skladnost GDPR obravnava, kako vrzeli pri zaznavanju vplivajo na zakon o varstvu podatkov.
anonym.legal uporablja trostopenjski sklad NER - spaCy, Stanza in XLM-RoBERTa - za pokritost 48 jezikov z doslednim zaznavanjem PII.