NER multilingüe: desafíos en la detección de datos personales
Actualizado para 2026
La brecha de precisión
Los modelos NER entrenados en inglés alcanzan un F1 del 85–92 % en pruebas estándar. Aplica esos mismos modelos a texto en árabe o chino. La precisión cae al 50–70 %.
Para la detección de datos personales, esa brecha es crítica. Una tasa de detección del 70 % significa que el 30 % de los datos sensibles queda desprotegido.
Las causas no son errores de software. Provienen de cómo funcionan los sistemas de escritura.
Cuatro causas principales
1. Límites de palabras
El inglés separa las palabras con espacios. La tokenización es sencilla.
El chino no tiene espacios en absoluto.
"张伟住在北京"
→ Segmentar primero: ["张伟", "住在", "北京"]
Un modelo no puede etiquetar lo que no encuentra. La segmentación debe ocurrir antes del NER.
El árabe enlaza las letras dentro de una palabra. Las vocales cortas se omiten. El texto va de derecha a izquierda.
"محمد يعيش في دبي"
→ Sin vocales cortas, de derecha a izquierda, letras enlazadas
2. Morfología
Los verbos en inglés cambian de pocas maneras. El árabe usa un sistema de raíces. Una sola raíz genera docenas de palabras.
كتب (k-t-b, "escribir")
→ كاتب (escritor), كتاب (libro), مكتبة (biblioteca)
El NER debe analizar raíces para encontrar nombres en formas derivadas.
3. Convenciones de nombres
Los nombres en caracteres latinos siguen el orden Nombre y luego Apellido. Los nombres en idiomas RTL encadenan vínculos familiares.
محمد بن عبد الله
(Muhammad hijo-de Abdullah)
Los nombres chinos ponen el apellido primero. La mayoría de los nombres tienen dos o tres caracteres.
张伟 (Zhang Wei) — 2 caracteres
欧阳修 (Ouyang Xiu) — 3 caracteres
Un modelo construido con patrones de nombres occidentales pasará por alto estas estructuras.
4. Dirección del texto
Algunos idiomas van de derecha a izquierda. Cuando un texto RTL contiene un nombre en inglés, el orden visual y el orden lógico divergen. Esto se llama texto BiDi. Requiere un análisis cuidadoso.
Puntuaciones F1 por sistema de escritura
| Idioma | Sistema de escritura | Rango F1 | Nivel |
|---|---|---|---|
| Inglés | Latino | 85–92 % | Bajo |
| Alemán | Latino | 82–88 % | Bajo |
| Francés | Latino | 80–87 % | Bajo |
| Español | Latino | 81–86 % | Bajo |
| Ruso | Cirílico | 75–83 % | Medio |
| Árabe | Abyad | 55–75 % | Alto |
| Chino | Hanzi | 60–78 % | Alto |
| Japonés | Mixto | 65–80 % | Alto |
| Tailandés | Tailandés | 50–70 % | Muy alto |
| Hindi | Devanagari | 60–75 % | Alto |
Los sistemas no latinos y la ausencia de separación de palabras reducen las puntuaciones de forma constante.
Solución de tres niveles
Usamos tres niveles para cubrir 48 idiomas y sistemas de escritura.
Nivel 1: spaCy — 25 idiomas
Para idiomas con modelos sólidos y probados. Cubre inglés, alemán, francés, español, italiano, portugués, neerlandés, polaco, ruso y griego.
Nivel 2: Stanza — Idiomas complejos
Stanford Stanza gestiona el árabe, el chino, el japonés y el coreano. Ejecuta segmentaciones y análisis de raíces antes del NER.
Nivel 3: XLM-RoBERTa — Idiomas de bajos recursos
Para idiomas sin modelos dedicados. Thai, vietnamita, hindi, bengalí, hebreo, turco y farsi van aquí. Maneja texto mixto sin indicadores de idioma explícitos.
RTL y BiDi
El texto de derecha a izquierda necesita pasos adicionales más allá de la segmentación.
Nuestro pipeline:
- Normaliza el texto al orden lógico.
- Ejecuta NER en ese orden.
- Devuelve las posiciones de entidades al orden visual.
Eliminamos los prefijos adjuntos antes del NER y los reincorporamos después.
"محمد" — solo el nombre
"لمحمد" — "a Muhammad" (prefijo presente)
Cambio de código
Los documentos reales suelen mezclar idiomas en una misma línea.
"El meeting con John es at 3pm"
"我今天跟John去shopping"
Nuestro pipeline divide por idioma. Ejecuta el modelo correcto en cada parte. Luego une los resultados con mapeo de posiciones.
Benchmarks internos
Resultados de pruebas internas con datos de idiomas mixtos:
| Escenario | F1 |
|---|---|
| Solo inglés | 91 % |
| Solo alemán | 88 % |
| Solo árabe | 79 % |
| Solo chino | 81 % |
| Mezcla inglés-árabe | 83 % |
| Mezcla inglés-chino | 84 % |
| Mezcla inglés-alemán | 89 % |
Notas de configuración
La aplicación de escritorio detecta automáticamente el idioma por documento. Para archivos mixtos, procesa cada segmento con el modelo correcto. No se requiere ningún paso manual.
Establece el idioma en la API cuando lo conozcas:
{
"text": "محمد بن عبد الله",
"language": "ar"
}
Usa la detección automática cuando no lo sepas:
{
"text": "محمد بن عبد الله",
"language": "auto"
}
Los patrones personalizados deben cubrir los dígitos específicos de la configuración regional:
# ID de empleado latino
EMP-[0-9]{6}
# ID de empleado árabe (incluye dígitos árabe-índico)
موظف-[٠-٩0-9]{6}
Consulta la lista completa de entidades. Para la configuración de la API, visita la página de características de la API. Nuestra guía de cumplimiento RGPD explica cómo las brechas de detección afectan la protección de datos.
anonym.legal usa una pila NER de tres niveles — spaCy, Stanza y XLM-RoBERTa — para cubrir 48 idiomas con detección consistente de datos personales.