ПДн в многоязычных документах: почему одноязычные инструменты дают сбои.
Обновлено для 2026 года.
Документы пересекают языковые границы.
Трудовой договор швейцарской фармацевтической компании написан не на одном языке. Швейцария имеет четыре официальных языка. Швейцарские компании смешивают немецкий в основном тексте, французский в правовых оговорках и английский в международных разделах. Это может происходить в пределах одного абзаца.
Протокол заседания бельгийского совета директоров содержит нидерландский текст, французские официальные части и английские резюме. Глобальное соглашение об использовании данных может включать технические спецификации на английском и правовые оговорки на немецком.
Это не редкость. Для компаний DACH и ЕС — это норма. Одноязычные инструменты обнаружения ПДн не справляются с такими файлами.
Разрыв в 45% пропущенных ПДн.
Одноязычные NER-инструменты показывают на 45% более высокий уровень пропущенных ПДн в смешанных файлах. Это по сравнению с чисто одноязычными файлами.
Причина кроется в конструкции. Модель, обученная на немецком тексте, знает местные форматы имён и правила адресов. Когда она встречает французский раздел — она выходит за пределы своих обучающих данных. Имена и идентификаторы в этой части обнаруживаются плохо. Модель не слабая — она создавалась для другого языка.
EDPB в 2024 году установил, что 72% компаний ЕС обрабатывают файлы на трёх и более языках одновременно. Gartner в 2024 году установил, что многоязычные HR-файлы содержат на 67% больше ПДн на страницу, чем одноязычные. Больше ПДн плюс больше пропусков — разрыв накапливается.
Правовые требования см. в нашем руководстве по GDPR.
Где сосредоточены ошибки.
Сбои возникают не равномерно по всему файлу. ПДн на стыках разделов подвергаются наибольшему риску.
Рассмотрим такой пример: немецкая структура предложения, французское имя сотрудника и французская дата рождения — всё в одной строке. NER-модель видит французское имя там, где ожидает местное. Она может его не пометить. Модель, обученная на французском, видит немецкие контекстные слова и не может прочитать структуру.
В HR-файлах это обходится дорого. Gartner выявил на 67% больше ПДн на страницу в смешанных HR-файлах. Ошибки на стыках разделов особенно болезненны в типе файлов с наибольшим количеством персональных данных.
Кросс-лингвальные модели решают эту проблему.
XLM-RoBERTa обучается на тексте более 100 языков одновременно. Она не использует отдельную модель для каждого языка. Она учится, что обнаружение имён работает одинаково в разных языковых контекстах. Имя и его контекст разделяют одну и ту же структуру на немецком, французском и английском.
Для смешанных файлов модель не переключается на стыке раздела. Она читает весь текст как единый блок. Она применяет одни и те же правила обнаружения сущностей в каждой точке.
Дообучение на немецком и французском повышает точность для каждого языка по отдельности. Но кросс-лингвальная основа улавливает ПДн на стыках, где одноязычные модели дают сбои.
Для компаний DACH, чьи файлы пересекают языковые разделы, это реальное преимущество. Сущности, пропущенные на стыках одноязычными инструментами, обнаруживаются кросс-лингвальными моделями.
О том, как anonym.legal справляется с этим, см. нашу страницу средств защиты.
Шаги, которые нужно предпринять сейчас.
Проверьте охват вашего инструмента. Запросите у поставщика оценки полноты охвата по локалям. «Поддерживает многие языки» может означать предварительную машинную трансляцию. Это не нативное сканирование.
Составьте карту файлов по локалям. Компания DACH с 60% немецким, 30% французским и 10% английским имеет разные пробелы.
Проведите тест с образцами на стыках разделов. Создайте тестовый набор из десяти примеров смешанных языковых оговорок. Проверьте полноту охвата для всего файла, а не только для основной языковой части.
Проверьте ваши DPIA. DPIA, составленная на основе одноязычных записей, может быть неполной. Исправьте это до того, как это сделает аудит.
Подробнее об API и покрытии сущностей — на странице тарифов.
anonym.legal использует XLM-RoBERTa совместно с нативными моделями spaCy и Stanza. Обнаруживает ПДн на стыках разделов на немецком, французском, английском и ещё 45 локалях.