Mehrsprachiges NER: Herausforderungen bei der PII-Erkennung
Aktualisiert für 2026
Die Genauigkeitslücke
NER-Modelle, die auf Englisch trainiert wurden, erreichen 85–92 % F1 auf Standard-Tests. Wendet man dieselben Modelle auf arabischen oder chinesischen Text an, fällt die Genauigkeit auf 50–70 %.
Für die PII-Erkennung ist diese Lücke kritisch. Eine Erkennungsrate von 70 % bedeutet: 30 % der sensiblen Daten bleiben ungeschützt.
Die Ursachen sind keine Bugs. Sie entstehen durch Unterschiede in Schriftsystemen.
Vier Grundursachen
1. Wortgrenzen
Englische Wörter werden durch Leerzeichen getrennt. Die Tokenisierung ist einfach.
Chinesisch hat überhaupt keine Leerzeichen.
"张伟住在北京"
→ Zuerst segmentieren: ["张伟", "住在", "北京"]
Ein Modell kann nicht beschriften, was es nicht findet. Die Segmentierung muss vor dem NER erfolgen.
Arabisch verbindet Buchstaben innerhalb eines Wortes. Kurze Vokale werden weggelassen. Der Text läuft von rechts nach links.
"محمد يعيش في دبي"
→ Keine kurzen Vokale, von rechts nach links, verbundene Buchstaben
2. Morphologie
Englische Verben ändern sich auf wenige vorhersehbare Weisen. Arabisch verwendet ein Wurzelsystem. Eine Wurzel erzeugt Dutzende von Wörtern.
كتب (k-t-b, "schreiben")
→ كاتب (Schreiber), كتاب (Buch), مكتبة (Bibliothek)
NER muss Wurzeln analysieren, um Namen in abgeleiteten Wortformen zu finden.
3. Namenskonventionen
Lateinische Namen folgen dem Muster Vorname dann Nachname. Namen in RTL-Sprachen verketten Familienbeziehungen.
محمد بن عبد الله
(Muhammad Sohn-von Abdullah)
Chinesische Namen stellen den Familiennamen voran. Die meisten Namen sind zwei oder drei Zeichen lang.
张伟 (Zhang Wei) — 2 Zeichen
欧阳修 (Ouyang Xiu) — 3 Zeichen
Ein Modell, das auf westlichen Namensmustern aufgebaut ist, übersieht diese Strukturen.
4. Textrichtung
Einige Sprachen laufen von rechts nach links. Wenn RTL-Text einen englischen Namen enthält, weichen visuelle Reihenfolge und logische Reihenfolge voneinander ab. Das nennt man BiDi-Text. Er erfordert sorgfältiges Parsen.
F1-Werte nach Schriftsystem
| Sprache | Schriftsystem | F1-Bereich | Schwierigkeit |
|---|---|---|---|
| Englisch | Latein | 85–92 % | Gering |
| Deutsch | Latein | 82–88 % | Gering |
| Französisch | Latein | 80–87 % | Gering |
| Spanisch | Latein | 81–86 % | Gering |
| Russisch | Kyrillisch | 75–83 % | Mittel |
| Arabisch | Abjad | 55–75 % | Hoch |
| Chinesisch | Hanzi | 60–78 % | Hoch |
| Japanisch | Gemischt | 65–80 % | Hoch |
| Thailändisch | Thaiisch | 50–70 % | Sehr hoch |
| Hindi | Devanagari | 60–75 % | Hoch |
Nicht-lateinische Schriften und fehlende Wortgrenzen senken die Ergebnisse durchgehend.
Dreistufige Lösung
Wir verwenden drei Stufen, um 48 Sprachen und Schriftsysteme abzudecken.
Stufe 1: spaCy — 25 Sprachen
Für Sprachen mit starken, getesteten Modellen. Dazu gehören Englisch, Deutsch, Französisch, Spanisch, Italienisch, Portugiesisch, Niederländisch, Polnisch, Russisch und Griechisch.
Stufe 2: Stanza — Komplexe Sprachen
Stanford Stanza verarbeitet Arabisch, Chinesisch, Japanisch und Koreanisch. Es führt Wortteilungen und Wurzelanalysen vor dem NER durch.
Stufe 3: XLM-RoBERTa — Ressourcenarme Sprachen
Für Sprachen ohne eigene Modelle. Thai, Vietnamesisch, Hindi, Bengalisch, Hebräisch, Türkisch und Farsi gehören dazu. Es verarbeitet gemischten Text ohne explizite Sprachmarkierungen.
RTL und BiDi
Rechts-nach-links-Text benötigt zusätzliche Schritte über die Segmentierung hinaus.
Unsere Pipeline:
- Normalisiert Text in logische Reihenfolge.
- Führt NER in dieser Reihenfolge aus.
- Ordnet Entitätspositionen der visuellen Reihenfolge zu.
Wir entfernen angehängte Präfixe vor dem NER und fügen sie danach wieder hinzu.
"محمد" — nur der Name
"لمحمد" — "an Muhammad" (Präfix vorhanden)
Code-Switching
Echte Dokumente mischen oft Sprachen in einer Zeile.
"El meeting con John es at 3pm"
"我今天跟John去shopping"
Unsere Pipeline teilt nach Sprache auf. Sie führt das richtige Modell für jeden Teil aus. Dann verbindet sie Ergebnisse mit Positionszuordnung.
Interne Benchmarks
Ergebnisse aus internen Tests mit gemischten Sprachdaten:
| Szenario | F1 |
|---|---|
| Nur Englisch | 91 % |
| Nur Deutsch | 88 % |
| Nur Arabisch | 79 % |
| Nur Chinesisch | 81 % |
| Englisch-Arabisch gemischt | 83 % |
| Englisch-Chinesisch gemischt | 84 % |
| Englisch-Deutsch gemischt | 89 % |
Einrichtungshinweise
Die Desktop-App erkennt die Sprache automatisch pro Dokument. Für gemischte Dateien verarbeitet sie jeden Abschnitt mit dem richtigen Modell. Kein manueller Schritt erforderlich.
Legen Sie die Sprache in der API fest, wenn Sie sie kennen:
{
"text": "محمد بن عبد الله",
"language": "ar"
}
Verwenden Sie die automatische Erkennung, wenn nicht:
{
"text": "محمد بن عبد الله",
"language": "auto"
}
Benutzerdefinierte Muster sollten gebietsschemaspezifische Ziffern abdecken:
# Lateinische Mitarbeiter-ID
EMP-[0-9]{6}
# Arabische Mitarbeiter-ID (inkl. arabisch-indischer Ziffern)
موظف-[٠-٩0-9]{6}
Sehen Sie die vollständige Entitätsliste. Für die API-Einrichtung besuchen Sie die API-Features-Seite. Unser DSGVO-Leitfaden erklärt, wie Erkennungslücken das Datenschutzrecht betreffen.
anonym.legal verwendet einen dreistufigen NER-Stack — spaCy, Stanza und XLM-RoBERTa — für 48 Sprachen mit konsistenter PII-Erkennung.