PII у змішаномовних документах: чому одномовні інструменти пропускають дані
Оновлено у 2026 році.
Документи перетинають мовні межі
Трудовий договір швейцарської фармацевтичної компанії не є одномовним. Швейцарія має чотири офіційні мови. Швейцарські компанії поєднують: основний текст — німецькою, правові застереження — французькою, глобальні розділи — англійською. Це може відбуватися в межах одного абзацу.
Протокол засідання бельгійської ради містить нідерландський текст, французькі офіційні частини та англійські резюме. Глобальна угода про дані може мати технічні характеристики англійською та правові застереження щодо прав — німецькою.
Це не рідкість. Це норма для компаній DACH та ЄС. Одномовні інструменти захисту PII дають збій із такими файлами.
Прогалина в 45% пропущених даних
Одномовні NER-інструменти мають на 45% вищий рівень пропуску PII у змішаних файлах порівняно з файлами на одній мові.
Корінь проблеми — в архітектурі. Модель, навчена на німецькомовних текстах, знає місцеві форми імен та правила адрес. Коли вона натрапляє на французький розділ, вона виходить за межі свого навчального діапазону. Імена та ідентифікатори в цій частині розпізнаються погано. Модель не слабка — вона просто створена для іншої мови.
EDPB 2024 виявив, що 72% підприємств ЄС обробляють файли трьома і більше мовами одночасно. Gartner 2024 виявив, що багатомовні HR-файли містять на 67% більше PII на сторінку, ніж одномовні. Більше PII плюс більше пропусків — прогалина збільшується вдвічі.
Дивіться наш посібник з GDPR щодо застосовних правил.
Де концентруються помилки
Помилки розподілені нерівномірно по файлу. Najбільший ризик — PII на межах розділів.
Розглянемо таку ситуацію: речення з німецькою структурою, французьке ім'я співробітника та французька дата народження — все в одному рядку. NER-модель бачить французьке ім'я там, де очікує місцеве. Вона може його не позначити. Французькоорієнтована модель бачить контекстні слова німецькою і не може проаналізувати структуру.
HR-файли роблять це особливо болісним. Gartner виявив на 67% більше PII на сторінку в змішаних HR-файлах. Помилки на межах розділів найболючіші саме в тому типі файлів, де найбільше персональних даних.
Кросмовні моделі вирішують цю проблему
XLM-RoBERTa навчена на текстах 100 мов одночасно. Вона не використовує окрему модель для кожної мови. Вона навчилася, що розпізнавання іменованих сутностей працює однаково в різних мовних контекстах. Ім'я та його контекст мають однакову структуру в німецькій, французькій та англійській мовах.
Для змішаних файлів модель не перемикається на межі розділу. Вона читає весь текст як єдиний блок. Вона застосовує однакові правила для сутностей у кожній точці.
Доналаштування на німецьких та французьких даних підвищує точність для кожної мови окремо. Але кросмовна основа вловлює PII на межах, де одномовні моделі дають збій.
Для компаній DACH, чиї файли перетинають мовні розділи, це реальна перевага. Сутності, які пропускають одномовні інструменти на межах, знаходяться кросмовними моделями.
Дивіться нашу сторінку засобів захисту про те, як anonym.legal справляється з цим.
Кроки для вжиття зараз
Перевірте охоплення вашого інструменту. Запитайте у постачальника показники recall за мовами. «Підтримка багатьох мов» може означати, що текст спочатку проходить машинний переклад. Це не нативне сканування.
Складіть карту ваших файлів за мовами. Компанія DACH із 60% німецького, 30% французького та 10% англійського контенту має різні прогалини.
Тестуйте на зразках із межами розділів. Побудуйте тестовий набір із десяти прикладів змішаномовних клаузул. Перевіряйте recall по всьому файлу, не лише в частинах основної мови.
Перевірте свої DPIA. DPIA, побудована на одномовних записах, може бути неповною. Виправте це до того, як це зробить аудит.
Деталі API та покриття сутностей дивіться на сторінці цін.
anonym.legal використовує XLM-RoBERTa разом із нативними моделями spaCy та Stanza. Вона знаходить PII на межах розділів на німецькій, французькій, англійській та 45 інших мовах.