返回博客技术

亚太地区PII检测:泰语、印尼语、越南语

新加坡一家金融科技公司每月处理来自12种亚太语言的50万次支持聊天,发现其纯英语工具在60%的非英语聊天中遗漏了PII。

March 24, 20267 分钟阅读
APAC PII detectionThai PIIIndonesian data privacyVietnamese NERPDPA compliance

BPO的语言盲区

亚太地区的客服团队处理各种文字的聊天记录:泰国用户用泰文书写,印尼用户使用印尼语,越南用户使用越南语。

这些聊天记录中包含PII——姓名、电话号码、地址、身份证号码,全部以本地文字呈现。

单语言工具在这里完全失效:其模型在西方文本上训练,名字识别器学习的是拉丁字母姓名格式,地址模型学习的是西方地址布局。

泰文对单语言模型而言如同不可见。印尼语地址无法匹配拉丁字母规则。越南语声调文字又增加了一层不匹配。结果是:非拉丁字母聊天记录的PII检测率接近于零。

亚太地区大多数聊天不使用英语,这不是小众边缘案例,对大型BPO而言是常态。

亚太地区的合规风险

目前三部数据法律覆盖这些地区,均已生效,均适用于处理亚太客户数据的BPO企业。

泰国PDPA(个人数据保护法): 自2022年起生效,要求数据最小化、知情同意和安全控制。包含泰国人姓名的客服日志均在其适用范围内。

印尼PDPLaw(个人数据保护法): 覆盖所有处理印尼居民数据的企业,要求对个人记录采取安全措施。

越南PDPD(个人数据保护法令): 越南2023年法令适用于任何处理越南居民数据的企业,企业所在地不影响适用性。

三部法律共享一个核心规则:识别PII并加以保护,且该规则在客户使用的每种文字下均成立。关于这些法律对BPO业务的影响,请参阅我们的合规概述。

50万次聊天的挑战

一家新加坡金融科技公司每月处理50万次支持聊天,服务覆盖12种亚太语言,法律合规义务覆盖全部50万次。

而其纯英语工具仅能覆盖英语部分。

假设30%的聊天使用英语,且英语部分的准确率为90%,则约13.5万次聊天得到保护;其余36.5万次聊天几乎没有任何PII被检测到。

这意味着73%的聊天处于无保护状态。人工审查36.5万次聊天根本不现实,仅人力成本就已无法承受。自动化工具必须覆盖实际使用的语言文字组合,而非仅仅覆盖其中一种。

跨语言检测

XLM-RoBERTa是一款在100多种语言上训练的模型,它学会了姓名、地点和机构名称在不同文字中的共同规律,即使文本表面形式截然不同也能有效识别。

亚太地区覆盖四种核心文字:

印尼语(Bahasa Indonesia) — 识别姓名、机构和地名。泰语 — 通过跨语言迁移实现基础PII检测。越南语 — 支持声调文字的实体识别。菲律宾语 — 覆盖塔加洛语聊天记录。

Stanza为现有模型的文字提供补充覆盖。两款工具结合使用,可以覆盖完整的亚太语言组合,无需为每种文字配置独立工具。关于配置步骤,请参阅我们的安全指南。

合规影响显而易见:与其仅覆盖27%的聊天,完整的多语言检测可以覆盖全部聊天,人工审查队列从数十万条压缩为少量抽查。

为何此刻至关重要

泰国PDPA、印尼PDPLaw和越南PDPD均已正式生效。监管机构期望企业能够识别客户所使用的每种文字中的PII。

单语言工具无法满足这一要求,跨语言模型可以。对于拥有广泛亚太用户群的BPO企业,这一差距至关重要——它是法律风险与合规保障之间的分界线。

参考资料

准备好保护您的数据了吗?

开始使用 273 种实体类型在 48 种语言中匿名化 PII。