Mitmekeelne PII: miks ükskeelsed tööriistad ebaõnnestuvad.
Uuendatud 2026. aastaks.
Dokumendid ületavad keelepiire.
Šveitsi farmaatsiaettevõtte tööleping ei ole ühes keeles. Šveitsil on neli ametlikku keelt. Šveitsi ettevõtted kasutavad põhiosas saksa keelt, juriidilistes klauslites prantsuse keelt ja globaalsetes osades inglise keelt. See võib juhtuda ühes lõigus.
Belgia juhatuse protokollis on hollandi tekst, prantsuskeelsed ametlikud osad ja ingliskeelsed kokkuvõtted. Globaalne andmeleping võib sisaldada ingliskeelseid tehnilisi kirjeldusi ja saksakeelseid õiguslikke klausleid.
See ei ole haruldane. See on DACH- ja ELi ettevõtete norm. Ükskeelsed PII-tööriistad ebaõnnestuvad nende failide puhul.
45% vahelejätmise lünk.
Ükskeelsetel NER-tööriistadel on mitmekeelsetes failides 45% suurem PII-vahelejätmise määr. Seda võrreldes puhaste ükskeelsete failidega.
Probleem peitub kujunduses. Saksa tekstil treenitud mudel tunneb kohalikke nimevorme ja aadressireegleid. Kui mudel jõuab prantsuskeelse lõiguni, on see oma treeningvahemikust väljas. Selles osas olevad nimed ja ID-d saavad halva tuvastuse. Mudel ei ole nõrk – see loodi teise keele jaoks.
EDPB 2024 leidis, et 72% ELi ettevõtetest töötleb faile korraga kolmes või enamas keeles. Gartner 2024 leidis, et mitmekeelsetel HR-failidel on 67% rohkem PII-d lehekülje kohta kui ükskeelsetel. Rohkem PII pluss rohkem vahelejätmisi võimendavad lünka.
Vaadake meie GDPR-i juhendit kehtivate reeglite kohta.
Kus vead koonduvad.
Vead ei jaotu failis ühtlaselt. PII jaotise piiridel on suurim risk.
Kaaluge seda klauslit: saksa lause struktuur, prantsuse töötaja nimi ja prantsuse sünnikuupäev – kõik ühes reas. NER-mudel näeb prantsuse nime seal, kus ta ootab kohalikku. See ei pruugi seda märgistada. Prantsuse keelele treenitud mudel näeb saksakeelseid kontekstsõnu ega suuda struktuuri lugeda.
HR-failid muudavad selle kulukaks. Gartner leidis mitmekeelsetel HR-failidel 67% rohkem PII-d lehekülje kohta. Vead jaotiste piiridel kahjustavad kõige enam seda failitüüpi, millel on kõige rohkem isikuandmeid.
Keeleülesed mudelid lahendavad selle.
XLM-RoBERTa treenib korraga 100 keele tekstil. See ei kasuta iga keele jaoks eraldi mudelit. See õpib, et nimetuvastus toimib samamoodi erinevates keelelistes kontekstides. Nimi ja selle kontekst jagavad sama struktuuri saksa, prantsuse ja inglise keeles.
Mitmekeelsete failide puhul ei vaheta mudel jaotise piiril. See loeb kogu teksti ühe plokina. See rakendab samu olemitreegleid igal punktil.
Saksa ja prantsuse keele peenestamine lisab täpsust iga keele puhul eraldi. Kuid keeleülene alus tabab PII-d piiridel, kus ükskeelsed mudelid ebaõnnestuvad.
DACH-ettevõtetele, kelle failid ületavad keelelisi piire, on see reaalne kasu. Olemid, mille ükskeelsed tööriistad piiridel vahele jätavad, leiab keeleülene mudel üles.
Vaadake meie kaitsemeetmete lehekülge selle kohta, kuidas anonym.legal seda käsitleb.
Sammud, mida kohe astuda.
Kontrollige oma tööriista ulatust. Küsige müüjalt meeldetulentamise skoore lokaadi kaupa. "Toetab paljusid keeli" võib tähendada, et tekst läbib esmalt masintõlke. See ei ole natiivne skaneerimine.
Kaardistage oma failid lokaadi järgi. DACH-ettevõttel, kus on 60% saksa, 30% prantsuse ja 10% inglise keelt, on erinevad lüngad.
Testige jaotiste piiride näidistega. Koostage testikomplekt kümne mitmekeelse klausli näitega. Kontrollige meeldetuletust kogu failis, mitte ainult põhikeele osades.
Kontrollige oma DPIA-sid. Ükskeelsetel andmetel põhinev DPIA võib olla mittetäielik. Parandage see enne, kui audit seda teeb.
API üksikasjade ja olemite katvuse kohta vaadake hinnakirja lehekülge.
anonym.legal kasutab XLM-RoBERTa-t koos natiivsete spaCy ja Stanza mudelitega. See leiab PII-d üle jaotiste piiride saksa, prantsuse, inglise ja 45 muus keeles.