PII u mesovitim jezicima: zasto jednojezicni alati ne uspevaju
Azurirano za 2026.
Dokumenti prelaze jezicne granice
Ugovor o radu svajcarskog farmaceutskog preduzeca nije na jednom jeziku. Svajcarska ima cetiri sluzbena jezika. Svajcarska preduzeca mesaju nemacki u glavnom tekstu, francuski u pravnim klauzulama i engleski u globalnim odeljcima. To se moze desiti u jednom paragrafu.
Zapisnik belgijskog odbora ima holandski tekst, formalne delove na francuskom i sazetke na engleskom. Globalni ugovor o podacima moze imati tehnicke specifikacije na engleskom i klauzule o pravima na nemackom.
Ovo nije retko. To je norma za DACH i EU preduzeca. Jednojezicni PII alati ne uspevaju na ovim datotekama.
Jaz od 45% u stopi propustanja
Jednojezicni NER alati imaju 45% vecu stopu propustanja PII na mesovitim datotekama. Ovo je u poredjenju sa cistim jednojezicnim datotekama.
Korenski uzrok je dizajn. Model treniran na nemackim tekstovima poznaje lokalne oblike imena i pravila adresiranja. Kada nadje francuski odeljak, izlazi iz svog opsega treniranja. Imena i ID-ovi u tom delu dobijaju losiju detekciju. Model nije slab - napravljen je za drugi jezik.
EDBP 2024 je utvrdio da 72% EU preduzeca obradjuje datoteke na tri ili vise jezika istovremeno. Gartner 2024 je utvrdio da visejezicne HR datoteke imaju 67% vise PII po stranici od jednojezicnih. Vise PII plus vise propustanja povecava jaz.
Pogledajte nas GDPR vodic za pravila koja se primenjuju.
Gde se greske gomilaju
Gresaka nema ravnomerno kroz datoteku. PII na prelazima izmedju odeljaka je najvise ugrozena.
Razmotrimo ovu klauzulu: nemacka struktura recenice, francusko ime zaposlenog i francuski datum rodjenja - sve u jednom redu. NER model vidi francusko ime tamo gde ocekuje lokalno. Mozda ga nece oznaciti. Model treniran na francuskom vidi nemacke kontekstualne reci i ne moze da procita strukturu.
HR datoteke cine ovo skupim. Gartner je utvrdio 67% vise PII po stranici u mesovitim HR datotekama. Greske na prelazima odeljaka najvise stete u vrsti datoteke sa najvise licnih podataka.
Visejezicni modeli resavaju ovo
XLM-RoBERTa se trenira na tekstovima iz 100 jezika istovremeno. Ne koristi novi model za svaki jezik. Uci se da detekcija imena funkcionise na isti nacin u razlicitim jezickim kontekstima. Ime i njegov kontekst imaju istu strukturu na nemackom, francuskom i engleskom.
Za mesovite datoteke, model se ne menja na prelomu odeljaka. Cita ceo tekst kao jedan blok. Primenjuje ista pravila entiteta na svakoj tacki.
Fino podesavanje na nemackom i francuskom dodaje preciznost za svaki jezik posebno. Ali visejezicna baza hvata PII na prelomima gde jednojezicni modeli ne uspevaju.
Za DACH preduzeca cije datoteke prelaze jezicke odeljke, ovo je stvarni dobitak. Entiteti koje jednojezicni alati propustaju na prelomima pronalaze se visejezicnim modelima.
Pogledajte nasu stranicu o zastiti za opis kako anonym.legal ovo resava.
Koraci koje treba preduzeti odmah
Proverite opseg vaseg alata. Zatrazite od prodavca ocene odziva po lokalu. "Podrska za mnoge jezike" moze znaciti da tekst prvo prolazi kroz masinski prevod. To nije nativno skeniranje.
Mapirajte vase datoteke prema jeziku. DACH preduzece sa 60% nemackim, 30% francuskim i 10% engleskim sadrzajem ima razlicite praznine.
Testirajte sa uzorcima preloma odeljaka. Napravite test skup sa deset primera klauzula na mesovitim jezicima. Proverite odziv kroz celu datoteku, ne samo u delovima na glavnom jeziku.
Proverite vase DPIA-ove. DPIA napravljena na jednojezicnim zapisima moze biti nepotpuna. Popravite je pre nego sto to ucini revizija.
Za API detalje i pokrivenost entiteta, pogledajte stranicu sa cenama.
anonym.legal koristi XLM-RoBERTa zajedno sa nativnim spaCy i Stanza modelima. Pronalazi PII na prelomima odeljaka na nemackom, francuskom, engleskom i jos 45 lokala.