Mixed-Language PII: Bakit Nabibigo ang Mga Single-Language Tool
Ina-update para sa 2026.
Tumatawid ang Mga Dokumento sa Mga Hangganan ng Wika
Ang work contract ng isang Swiss pharma firm ay hindi nasa isang wika. Ang Switzerland ay may apat na opisyal na wika. Pinagsasama ng mga Swiss firm ang German sa pangunahing katawan, French sa mga legal na sugnay, at English sa mga global na seksyon. Maaari itong mangyari sa isang talata.
Ang Belgian board minute ay may Dutch na teksto, French na pormal na bahagi, at English na buod. Ang isang global na data deal ay maaaring may English na tech specs at German na rights clauses.
Ito ay hindi bihira. Ito ang pamantayan para sa mga DACH at EU firm. Nabibigo ang mga monolingual PII tool sa mga file na ito.
Ang 45% na Miss Rate na Agwat
Ang mga monolingual NER tool ay may 45% na mas mataas na PII miss rate sa mga mixed na file. Ito ay kumpara sa purong single-language na file.
Ang ugat na dahilan ay disenyo. Ang isang modelo na sinanay sa German na teksto ay nakakaalam ng mga lokal na anyo ng pangalan at mga patakaran ng address. Kapag natamaan nito ang isang French na seksyon, ito ay nasa labas na ng saklaw ng pagsasanay nito. Ang mga pangalan at ID sa bahaging iyon ay nakatatanggap ng mahinang detection. Ang modelo ay hindi mahina - ito ay ginawa para sa ibang wika.
Natuklasan ng EDPB 2024 na 72% ng mga EU firm ay nagpoproseso ng mga file sa tatlo o higit pang wika nang sabay-sabay. Natuklasan ng Gartner 2024 na ang mga multilingual na HR file ay may 67% na mas maraming PII bawat pahina kaysa sa mga single-language. Mas maraming PII kasama ang mas maraming miss ay nagpapalaki ng agwat.
Tingnan ang aming gabay sa GDPR para sa mga patakarang naaangkop.
Kung Saan Nagkukumpol ang Mga Error
Ang pagkabigo ay hindi pantay sa buong file. Ang PII sa mga section break ay pinaka-nasa panganib.
Isaalang-alang ang sugnay na ito: German na istraktura ng pangungusap, isang French na pangalan ng empleyado, at isang French na petsa ng kapanganakan - lahat sa isang linya. Ang NER model ay nakakakita ng French na pangalan kung saan inaasahan nito ang isang lokal. Maaaring hindi nito itanda. Ang isang French-trained na modelo ay nakakakita ng mga German na context word at hindi mabasa ang istraktura.
Ginagawa ng HR file ang ito na mahal. Natuklasan ng Gartner na 67% na mas maraming PII bawat pahina sa mga mixed na HR file. Ang mga error sa mga section break ay pinakamasakit sa uri ng file na may pinakamaraming personal na datos.
Inaayos ng Mga Cross-Lingual na Modelo Ito
Nag-aaral ang XLM-RoBERTa mula sa teksto ng 100 wika nang sabay-sabay. Hindi ito gumagamit ng bagong modelo bawat wika. Natututo ito na ang name detection ay gumagana sa parehong paraan sa iba't ibang linguistic context. Ang isang pangalan at ang konteksto nito ay may parehong istraktura sa German, French, at English.
Para sa mga mixed na file, ang modelo ay hindi nagpapalit sa isang section break. Binabasa nito ang buong teksto bilang isang bloke. Inilalapat nito ang parehong mga panuntunan ng entity sa bawat punto.
Ang fine-tuning sa German at French ay nagdaragdag ng katumpakan para sa bawat wika nang mag-isa. Ngunit ang cross-lingual na base ay humuhuli ng PII sa mga break kung saan nabibigo ang mga single-language na modelo.
Para sa mga DACH firm na ang mga file ay tumatawid sa mga linguistic na seksyon, ito ay tunay na pakinabang. Ang mga entity na napalampas sa mga break ng mga single-language na tool ay nakikita ng mga cross-lingual na modelo.
Tingnan ang aming pahina ng mga pangingibabaw para sa kung paano hinahawakan ng anonym.legal ito.
Mga Hakbang na Dapat Gawin Ngayon
Suriin ang saklaw ng iyong tool. Humihingi sa iyong vendor ng mga recall score ayon sa locale. Ang "Sumusuporta sa maraming wika" ay maaaring mangahulugang ang teksto ay dumadaan muna sa machine translation. Iyon ay hindi native scanning.
I-mapa ang iyong mga file ayon sa locale. Ang isang DACH firm na may 60% German, 30% French, at 10% English ay may iba't ibang agwat.
Subukan gamit ang mga sample na may section break. Gumawa ng test set na may sampung mixed-language na halimbawa ng clause. Suriin ang recall sa buong file, hindi lamang sa mga bahagi ng pangunahing wika.
Suriin ang iyong mga DPIA. Ang isang DPIA na itinayo sa mga single-language na rekord ay maaaring hindi kumpleto. Ayusin ito bago gawin ito ng isang audit.
Para sa mga detalye ng API at saklaw ng entity, tingnan ang pahina ng presyo.
Ginagamit ng anonym.legal ang XLM-RoBERTa kasama ang mga native na modelo ng spaCy at Stanza. Nakakahanap ito ng PII sa mga section break sa German, French, English, at 45 pang locale.