PII u visejezicnim dokumentima: zasto jednojezicni alati zataje
Azurirano za 2026.
Dokumenti prelaze jezicne granice
Radni ugovor svicarske farmaceutske tvrtke nije napisan na jednom jeziku. Svicarska ima cetiri sluzbena jezika. Svicarske tvrtke mijesaju njemacki u glavnom tekstu, francuski u pravnim klauzulama i engleski u globalnim dijelovima. To se moze dogoditi unutar jednog paragrafa.
Belgijski zapisnik odbora ima nizozemski tekst, francuske formalne dijelove i engleske sazetke. Globalni podatkovni ugovor moze imati engleske tehnicke specifikacije i njemacke klauzule o pravima.
Ovo nije rijetko. To je norma za DACH i EU tvrtke. Jednojezicni PII alati ne uspijevaju na tim datotekama.
Jaz stope promasivanja od 45%
Jednojezicni NER alati imaju 45% vecu stopu promasivanja PII podataka u visejezicnim datotekama. To je u usporedbi s cisto jednojezicnim datotekama.
Temeljni uzrok je sam dizajn. Model treniran na njemackom tekstu poznaje lokalne oblike imena i pravila adresa. Kada dodje do francuskog odjeljka, izlazi iz svog podrucja treniranja. Imena i ID-ovi u tom dijelu imaju losiju detekciju. Model nije slab - bio je izgrradjen za drugi jezik.
EDPB 2024 utvrdio je da 72% EU tvrtki istodobno obradjuje datoteke na tri ili vise jezika. Gartner 2024 utvrdio je da visejezicne HR datoteke imaju 67% vise PII po stranici od jednojezicnih. Vise PII uz vise promasivanja multiplicira jaz.
Pogledajte nas GDPR vodic za primjenjiva pravila.
Gdje se greske gomilaju
Gresaka nema ravnomjerno rasporedenih kroz datoteku. PII na prijelomima izmedju odjeljaka je pod najvecim rizikom.
Razmotrimo ovu klauzulu: njemacka recenicna struktura, francusko ime zaposlenika i francuski datum rodjenja - sve u jednom retku. NER model vidi francusko ime gdje ocekuje lokalno. Mozda ga nece oznaciti. Model treniran na francuskom vidi njemacke kontekstualne rijeci i ne moze procitati strukturu.
HR datoteke cine ovo skupim. Gartner je utvrdio 67% vise PII po stranici u mijesanim HR datotekama. Greske na prijelomima odjeljaka najvise stete u tipu datoteke s najvise osobnih podataka.
Krizajezicni modeli rjesavaju problem
XLM-RoBERTa se trenira na tekstovima iz 100 jezika istodobno. Ne koristi novi model za svaki jezik. Uci da detekcija imenica funkcionira na isti nacin u razlicitim jezicnim kontekstima. Ime i njegov kontekst dijele istu strukturu na njemackom, francuskom i engleskom.
Za mijesane datoteke, model se ne prebacuje na prijelomima odjeljaka. Cita cijeli tekst kao jedan blok. Primjenjuje ista pravila za entitete na svakoj tocki.
Fino ugadjanje na njemackom i francuskom dodaje preciznost za svaki jezik posebno. Ali krizajezicna osnova hvata PII na prijelomima gdje jednojezicni modeli ne uspijevaju.
Za DACH tvrtke cije datoteke prelaze jezicne odjeljke, ovo je stvarna prednost. Entiteti promaseni na prijelomima od strane jednojezicnih alata pronalaze se krizajezicnim modelima.
Pogledajte nasu stranicu o zastiti za informacije o tome kako anonym.legal rjesava ovo.
Koraci koje treba poduzeti odmah
Provjerite opseg vaseg alata. Zatrazite od vaseg dobavljaca ocjene odziva po lokalizaciji. "Podrzava mnogo jezika" moze znaciti da tekst prolazi kroz strojno prevodjenje. To nije nativno skeniranje.
Mapirajte svoje datoteke po lokalizaciji. DACH tvrtka s 60% njemackog, 30% francuskog i 10% engleskog ima razlicite praznine.
Testirajte s uzorcima prijeloma odjeljaka. Izgradite skup testova s deset mijesanih jezicnih primjera klauzula. Provjerite odziv za cijelu datoteku, a ne samo za dijelove glavnog jezika.
Provjerite svoje DPIA-e. DPIA izgradjena na jednojezicnim zapisima mozda je nepotpuna. Ispravite je prije nego to ucini revizija.
Za pojedinosti o API-ju i pokrivenosti entiteta, pogledajte stranicu s cijenama.
anonym.legal koristi XLM-RoBERTa uz nativne spaCy i Stanza modele. Pronalazi PII na prijelomima odjeljaka na njemackom, francuskom, engleskom i jos 45 lokalizacija.