Wielojęzyczne wykrywanie PII dla RODO – jak nie przeoczyć danych osobowych

Wielojęzyczne wykrywanie PII dla RODO

Zaktualizowano w 2026 r.

Ukryta luka w RODO

RODO nie faworyzuje żadnego języka. Art. 4 ust. 1 definiuje „dane osobowe” bez wskazania języka, w którym się pojawiają. Steuer-ID z Niemiec podlega takiej samej ochronie jak numer PESEL w Polsce. NIR z Francji objęty jest takimi samymi przepisami jak numer ubezpieczenia społecznego w Wielkiej Brytanii.

Większość narzędzi do wykrywania PII została zbudowana wyłącznie z myślą o języku angielskim.

Badania ACL 2024 wykazały, że hybrydowe narzędzia NLP osiągają wyniki F1 na poziomie 0,60–0,83 dla europejskich lokalizacji. Narzędzia obsługujące wyłącznie angielski uzyskują wyniki bliskie zeru dla nieangielskich krajowych formatów identyfikatorów. Różnica jest uderzająca. Narzędzie może wykrywać 95% PII w języku angielskim, a jednocześnie pomijać 40–60% PII w dokumentach w języku niemieckim, francuskim, polskim czy niderlandzkim. To poważny problem narażający firmy na realne ryzyko.

To rzeczywista luka w RODO, dotykająca niemal każdą globalną firmę korzystającą z narzędzi do redakcji skupionych na języku angielskim. Zobacz nasze omówienie RODO po więcej informacji.

Dlaczego PII jest specyficzne dla lokalizacji

Wykrywanie PII składa się z dwóch elementów.

Pierwszy to skanowanie oparte na wzorcach, obejmujące strukturyzowane identyfikatory takie jak numery podatkowe i formaty numerów telefonów.

Drugi to skanowanie oparte na NER (rozpoznawaniu encji nazwanych), dotyczące kontekstowych podmiotów jak imiona i adresy.

Oba elementy zależą od lokalizacji.

Strukturyzowane identyfikatory różnią się w zależności od kraju

Angielskie wyrażenie regularne dla SSN (NNN-NN-NNNN) nie dopasuje żadnego z tych formatów. Każdy wymaga własnego wyrażenia regularnego i własnej logiki sumy kontrolnej.

NER wymaga natywnych modeli

Niemieckie imiona i nazwiska różnią się od angielskich. „Hans-Dieter Müller” jest oczywisty dla natywnego modelu niemieckiego. Model wytrenowany na języku angielskim często takie imiona przeoczy.

Fałszywe pozytywne to kolejny problem. Tracker zgłoszeń Microsoft Presidio odnotowuje przypadki, gdy niemieckie słowa są błędnie klasyfikowane jako anglojęzyczne PII. Słowo „Null” (po niemiecku „zero”) jest jednym z przykładów — wyzwala fałszywe trafienia na imię w modelach wytrenowanych na angielskim. W produkcyjnym użytkowaniu wskaźniki błędów sięgają 3 fałszywych pozytywnych na jedną prawdziwą encję (Alvaro et al., 2024).

Ryzyko regulacyjne

Europejskie organy ochrony danych są świadome tego problemu. Kilka krajowych UODO wydało wytyczne.

Niemcy — BfDI: art. 5 ust. 1 lit. f) RODO stosuje się do wszystkich danych, w tym do danych nieangielskich przetwarzanych przez narzędzia stron trzecich.

Francja — CNIL: Raport Roczny CNIL z 2024 r. wyraził obawy dotyczące narzędzi AI obsługujących dokumenty w języku francuskim bez skanowania PII w lokalizacji dla języka francuskiego.

Europejskie UODO ogólnie: art. 25 RODO (Privacy by Design) wymaga zabezpieczeń dostosowanych do faktycznie przetwarzanych danych, w tym nieangielskich PII w globalnych wdrożeniach.

Ryzyko jest jasne. Firma może wykazać 95% wykrywalność PII w treściach anglojęzycznych podczas audytu RODO. Jeśli jednak przetwarza również dokumenty w języku niemieckim, francuskim i polskim tym samym narzędziem, luki wyjdą na jaw. Audytorzy to zauważą. Kary mogą nastąpić. Zobacz naszą stronę dotyczącą zabezpieczeń, aby dowiedzieć się, jak rozwiązujemy ten problem.

Trójpoziomowa architektura

Badania i doświadczenia produkcyjne wskazują trójpoziomową architekturę hybrydową jako optymalne podejście.

Poziom 1: Natywne modele spaCy

spaCy dostarcza wytrenowane modele dla 25 lokalizacji, w tym dla języka niemieckiego, francuskiego, hiszpańskiego, portugalskiego, włoskiego, niderlandzkiego, rosyjskiego, chińskiego, japońskiego, koreańskiego i polskiego. Każdy model jest trenowany na natywnych tekstach, ucząc się składni i wzorców encji właściwych dla danej lokalizacji. Ma to znaczenie — natywne trenowanie oznacza lepszy recall i mniej fałszywych pozytywnych.

Dla języka niemieckiego: de_core_news_lg obsługuje złożone rzeczowniki i wzorce nazwisk. Dla języka francuskiego: fr_core_news_lg obsługuje encje, tytuły, nazwy miejsc i organizacje.

Natywne modele przewyższają modele wielojęzyczne w skanowaniu imion dla lokalizacji o bogatych zasobach danych.

Poziom 2: Stanza dla szerszego zasięgu lokalizacji

Biblioteka Stanford Stanza obsługuje lokalizacje niedostępne w spaCy, w tym chorwacką, słoweńską i ukraińską. Poszerza to zasięg dla grup językowych UE, których spaCy nie obsługuje. Stanza jest bezpłatna i open source, dobrze integrując się z resztą stosu technologicznego.

Poziom 3: XLM-RoBERTa dla szerokiego zasięgu

Dla lokalizacji, gdzie spaCy i Stanza nie mają modeli NER, lukę wypełnia XLM-RoBERTa. Wytrenowany na tekstach Common Crawl w 100 językach osiąga wynik F1 na poziomie 91,4% dla wielojęzycznego wykrywania PII (HuggingFace 2024). Dobrze radzi sobie z code-switchingiem — kluczową funkcją w dokumentach zawierających tekst w kilku językach jednocześnie.

Odwiedź nasze dokumenty systemu tokenów, aby zobaczyć, jak wywołania API skalują się przy wielojęzycznym wolumenie.

Typy encji specyficzne dla lokalizacji

Same modele to nie wszystko. Zgodność z RODO wymaga również zakresu typów encji dla krajowych identyfikatorów.

Krajowe identyfikatory UE według kraju:

• DE: Steuer-ID, Sozialversicherungsnummer, Personalausweisnummer
• FR: NIR, SIREN, SIRET
• PL: PESEL, NIP, REGON
• NL: BSN
• SE: Personnummer, Samordningsnummer
• ES: DNI, NIE, NIF, CIF
• IT: Codice Fiscale, Partita IVA

Formaty telefonów: każdy kraj UE ma unikalne struktury prefiksów. +49, +33 i +48 wymagają własnej logiki walidacji.

Formaty adresów: kody pocztowe znacznie się różnią. Niemieckie PLZ używają 5 cyfr. Kody francuskie używają 5 cyfr (zakres 01–99). Brytyjskie kody pocztowe są alfanumeryczne. Polskie kody pocztowe mają format NN-NNN.

Studium przypadku: Szwajcarska firma farmaceutyczna

Szwajcarska firma przetwarza umowy o pracę. Każda umowa zawiera mieszaninę tekstu w języku niemieckim, francuskim i angielskim. Szwajcaria ma cztery języki urzędowe. Narzędzie firmy było skonfigurowane wyłącznie dla języka niemieckiego. Całe PII w sekcjach francuskich było pomijane.

Umowa dla pracownika z Genewy zawierała numer AVS w formacie francuskim (13 cyfr), szwajcarski IBAN i imię w formacie francuskim. Narzędzie skonfigurowane wyłącznie dla języka niemieckiego pominęło nazwisko w formacie francuskim, nie wykryło numeru AVS w formacie francuskim i tylko częściowo wykryło IBAN.

Podejście trójpoziomowe przetwarza cały dokument, wykrywa lokalizację na poziomie segmentu tekstu, stosuje właściwy model NER dla każdej części i waliduje każdy krajowy identyfikator z użyciem poprawnej logiki dla danego kraju.

Dokumenty wielolokalizacyjne

Najtrudniejszy przypadek to mieszanie lokalizacji wewnątrz dokumentu. Przykłady:

• Angielska umowa niemieckiej firmy z danymi pracowników w języku niemieckim (imiona, numery NIP)
• Formularz zgody RODO w języku francuskim z angielskim fragmentem dotyczącym prywatności
• Rozmowa, w której agent odpowiada po angielsku, a klient pisze po arabsku

XLM-RoBERTa obsługuje to natywnie — bez konieczności określania lokalizacji. Przetwarza tekst wielolokalizacyjny bez wcześniejszej segmentacji, co oszczędza czas i eliminuje błędy wynikające z wadliwego podziału.

W użytku produkcyjnym połączenie automatycznego wykrywania lokalizacji na poziomie zdania z wnioskowania XLM-RoBERTa zapewnia solidną obsługę dokumentów wielolokalizacyjnych.

Praktyczne kroki

Przeprowadź audyt zasięgu narzędzia. Zapytaj dostawcę redakcji o wyniki F1 dla Twoich konkretnych lokalizacji. „Obsługuje 20 języków” często oznacza, że narzędzie najpierw tłumaczy tekst maszynowo. To nie jest skanowanie natywne.

Zmapuj swoje dokumenty na lokalizacje. Wykonaj inwentaryzację dokumentów uwzględniającą rozkład lokalizacji. Globalna firma z 70% dokumentów anglojęzycznych, 20% niemieckojęzycznych i 10% francuskojęzycznych stoi w obliczu innych ryzyk niż firma z 95% dokumentów angielskich.

Testuj na próbkach krajowych identyfikatorów. Zbuduj zestaw testowy z 10 przykładami krajowych identyfikatorów z Twojej działalności — Steuer-ID, NIR, PESEL, BSN i innych. Zweryfikuj współczynniki wykrywania. Jest to szybsze niż pełny test F1.

Przejrzyj DPIA. Sprawdź, czy zakres lokalizacji jest uwzględniony. Niekompletna DPIA zakładająca wyłącznie dokumenty anglojęzyczne może wymagać aktualizacji. Działaj teraz — nie czekaj, aż audyt odkryje lukę.

Pełne definicje typów encji znajdziesz w referencji encji i FAQ. Informacje o planach i stawkach wywołań API dostępne są na stronie cennik.

Silnik wykrywania PII anonym.legal wykorzystuje trójpoziomowe podejście wielojęzyczne. Obejmuje 25 lokalizacji wysokich zasobów za pomocą natywnych modeli spaCy. Stanza rozszerza zasięg lokalizacji. Wielojęzyczne transformery XLM-RoBERTa rozszerzają zakres do 48 lokalizacji. Uwzględnione są krajowe typy encji dla wszystkich państw członkowskich UE.

Źródła

• ACL 2024: Hybrydowe wykrywanie PII dla europejskich lokalizacji
• Skalowalna wielojęzyczna platforma adnotacji PII (arXiv 2025)
• Benchmarki cross-lingual NER XLM-RoBERTa na HuggingFace
• Zgłoszenie #1071 Microsoft Presidio na GitHub — fałszywe pozytywne w języku niemieckim
• Wytyczne EROD dotyczące art. 25 Privacy by Design
• Raport Roczny CNIL 2024