违背单语工具的文档
瑞士一家制药公司的雇佣合同并不是用一种语言书写的。瑞士有四种官方语言。瑞士组织产生的文档通常将德语用于主要合同主体，法语用于某些监管条款，英语用于国际标准制定部分——有时甚至在同一个段落中。
一家比利时公司的董事会会议记录包含荷兰语报告、法语正式决议和为国际投资者准备的英语摘要部分。一家跨国公司的数据处理协议包含英语技术规范、德语数据主体权利条款和法语DPA联系信息。
这些并不是不寻常的文档。它们是跨国组织在多语言市场中运营的标准输出。而单语PII检测工具在这些文档上系统性地失败。
45%的更高漏检率
对混合语言文档上单语和多语NER方法进行比较的研究发现，混合语言文档导致单语NER工具的PII漏检率提高45%，与其在纯单语言文档上的表现相比。
这一差距的根源在于架构：一个在德语文本上训练的单语NER模型学习德语名称模式、德语组织名称惯例和德语地址结构。当该模型在主要是德语的文档中遇到法语部分时，它的操作超出了其训练分布。在该部分中的法语人名、法语地址和法语组织标识符的检测准确性降低——并不是因为模型训练不佳，而是因为它在错误的语言上进行了训练。
另一个发现是：72%的欧盟企业同时处理3种以上语言的文档（EDPB 2024），而多语言HR文档每页包含的PII比单语言文档多67%（Gartner 2024）。更高的PII密度和更高的漏检率的结合加剧了处理多语言HR、法律和商业文档的组织中的合规差距。
语言边界如何造成检测失败
这种失败并不均匀。位于语言边界的PII——即一个部分从一种语言过渡到另一种语言的地方——特别脆弱。
一份雇佣合同可能包含这样的条款：“Der Arbeitnehmer (员工：Jean-Pierre Dupont，出生于1985年3月15日，出生地：里昂) stimmt zu...”——将德语句子结构与法语姓名和出生日期混合在一起。德语NER模型在一个期望德语模式名称的位置遇到法语姓名，可能无法正确分类。法语NER模型看到德语中的上下文词，无法可靠地识别周围的文档结构。
Gartner 2024的观察指出，多语言HR文档每页包含的PII比单语言文档多67%，使得这种边界检测失败特别重要：HR文档是PII密度最高的文档类型之一，而它们是由以混合语言形式生产的多语言组织生成的。
跨语言变换器解决方案
XLM-RoBERTa（跨语言语言模型 - Roberta）代表了对这个问题的不同架构方法。XLM-RoBERTa不是为每种语言训练一个单独的模型，而是同时在100种语言的文本上进行训练。该模型学习到实体识别任务在不同语言之间共享模式——即使具体单词不同，德语、法语和英语之间人名与周围上下文词的结构关系是相似的。
对于混合语言文档，XLM-RoBERTa的跨语言架构意味着模型不需要在文档边界“切换”语言模型。它将文本作为连续序列处理，无论语言过渡如何，应用相同的实体识别能力。
这并不是一个完整的解决方案——在德语、法语和其他语言训练数据上的语言特定微调为每种语言单独提供了额外的准确性。但跨语言基线通过单语模型处理不一致的语言边界提供了可靠的检测。
对于瑞士、比利时及其他跨国组织，其文档常常跨越语言边界，单语和跨语言NER之间的架构区别直接转化为合规结果：在单语工具中在语言边界遗漏的实体在跨语言架构中被检测到。
来源：