LLM-Datenschutzangriff-Forschung
12 von Fachleuten überprüfte Forschungsarbeiten, die zeigen, warum Pseudonymität gegen KI versagt.
Deanonymisierung, PII-Extraktion, Membership Inference, Prompt-Injection-Angriffe — und wie man sich dagegen schützt.
Datenschutzangriff-Kategorien
Deanonymisierung
LLMs ordnen anonyme Beiträge echten Identitäten zu, indem sie Schreibstil, Fakten und zeitliche Muster analysieren. 68% Genauigkeit bei $1-$4/Profil.
Attribut-Inferenz
LLMs leiten persönliche Attribute (Standort, Einkommen, Alter) aus Text ab, auch wenn diese nicht explizit genannt werden. GPT-4 erreicht 85% Top-1-Genauigkeit.
PII-Extraktion
Extraktion persönlicher Informationen aus Trainingsdaten oder Prompts. 100% E-Mail-Extraktionsgenauigkeit mit GPT-4. 5× Steigerung bei fortgeschrittenen Angriffen.
Prompt-Injection
Manipulation von LLM-Agenten, um persönliche Daten während der Aufgabenausführung preiszugeben. ~20% Erfolgsrate bei Banking-Szenarien.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Kernaussage
68% recall at 90% precision for deanonymization using ESRC framework
Methodik
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC-Framework
LLM extrahiert identifizierende Fakten aus anonymen Beiträgen
Nutzt Fakten zur Abfrage öffentlicher Datenbanken (LinkedIn usw.)
LLM analysiert Kandidatenübereinstimmungen
Konfidenzbewertung zur Minimierung von Fehltreffern
Experimentelle Ergebnisse
| Datensatz | Recall @ 90% Präzision | Anmerkungen |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implikationen
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Alle Forschungsarbeiten
11 weitere begutachtete Studien zu LLM-Datenschutzangriffen
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Kernaussagen
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Kernaussagen
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Kernaussagen
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Kernaussagen
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Kernaussagen
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Kernaussagen
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Kernaussagen
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Kernaussagen
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Kernaussagen
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Kernaussagen
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Kernaussagen
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Verteidigungsstrategien aus der Forschung
Was nicht funktioniert
- ✗Pseudonymisierung — LLMs überwinden Benutzernamen, Handles, Anzeigenamen
- ✗Text-zu-Bild-Konvertierung — Nur geringe Verbesserung gegen multimodale LLMs
- ✗Modell-Alignment allein — Derzeit unwirksam zur Verhinderung von Inferenz
- ✗Einfache Textanonymisierung — Unzureichend gegen LLM-Schlussfolgerungen
Was funktioniert
- ✓Adversariale Anonymisierung — Reduziert Inferenz von 66,3% auf 45,3%
- ✓Differential Privacy — Reduziert PII-Präzision von 33,86% auf 9,37%
- ✓Prompt-Injection-Abwehr — Am wirksamsten gegen LLM-basierte PIE
- ✓Echte PII-Entfernung/Ersetzung — Entfernt die Signale, die LLMs nutzen
Warum diese Forschung wichtig ist
Diese 12 Forschungsarbeiten zeigen einen fundamentalen Wandel bei Datenschutzbedrohungen. Traditionelle Anonymisierungsansätze wie Pseudonyme, Benutzernamen und Handle-Änderungen bieten keinen ausreichenden Schutz mehr gegen entschlossene Angreifer mit Zugang zu LLMs.
Wichtige Bedrohungsmetriken
- 68% Deanonymisierungs-Genauigkeit bei 90% Präzision (Hacker News → LinkedIn)
- 85% Attribut-Inferenz-Genauigkeit für Standort, Einkommen, Alter, Beruf
- 100% E-Mail-Extraktion und 98% Telefonnummer-Extraktion (GPT-4)
- 5× Steigerung der PII-Leaks bei ausgeklügelten Multi-Query-Angriffen
- $1-$4 Kosten pro Profil machen Massenangriffe wirtschaftlich machbar
Wer ist gefährdet
- Whistleblower & Aktivisten: Anonyme Beiträge können mit echten Identitäten verknüpft werden
- Berufstätige: Reddit-Aktivität mit LinkedIn-Profilen verknüpft
- Patienten: Membership Inference zeigt, ob Daten im Training waren
- Jeder mit historischen Beiträgen: Jahre von Daten können rückwirkend deanonymisiert werden
Wie anonym.legal diese Bedrohungen adressiert
anonym.legal bietet echte Anonymisierung, die die von LLMs genutzten Signale entfernt:
- 285+ Entitätstypen: Namen, Standorte, Daten, zeitliche Marker, Identifikatoren
- Schreibmuster-Störung: Ersetzt Text, der stilometrische Fingerabdrücke offenbart
- Reversible Verschlüsselung: AES-256-GCM für Fälle, die autorisierten Zugriff erfordern
- Mehrere Operatoren: Ersetzen, Schwärzen, Hashen, Verschlüsseln, Maskieren, Benutzerdefiniert
Häufig gestellte Fragen
Was ist LLM-basierte Deanonymisierung?
LLM-basierte Deanonymisierung nutzt große Sprachmodelle, um echte Personen aus anonymen oder pseudonymen Online-Beiträgen zu identifizieren. Anders als traditionelle Methoden, die bei großem Maßstab versagen, können LLMs Schreibstilanalyse (Stilometrie), genannte Fakten, zeitliche Muster und kontextuelles Schlussfolgern kombinieren, um anonyme Profile mit echten Identitäten abzugleichen. Forschung zeigt bis zu 68% Genauigkeit bei 90% Präzision, verglichen mit nahezu 0% bei klassischen Methoden.
Wie genau ist LLM-Deanonymisierung?
Forschung zeigt alarmierende Genauigkeitslevel: 68% Recall bei 90% Präzision für Hacker News zu LinkedIn Matching, 67% für Reddit-Zeitreihenanalyse (gleicher Nutzer über Zeit), 35% im Internet-Maßstab (1M+ Kandidaten). Für Attribut-Inferenz erreicht GPT-4 85% Top-1-Genauigkeit beim Ableiten persönlicher Attribute wie Standort, Einkommen, Alter und Beruf allein aus Reddit-Beiträgen.
Was ist das ESRC-Framework?
ESRC (Extract-Search-Reason-Calibrate) ist ein vierstufiges LLM-Deanonymisierungs-Framework: (1) Extract - LLM extrahiert identifizierende Fakten aus anonymen Beiträgen mittels NLP, (2) Search - fragt öffentliche Datenbanken wie LinkedIn mit extrahierten Fakten und semantischen Embeddings ab, (3) Reason - LLM analysiert Kandidatenübereinstimmungen auf Konsistenz, (4) Calibrate - Konfidenzbewertung zur Minimierung von Fehltreffern bei Maximierung korrekter Treffer.
Was kostet LLM-Deanonymisierung?
Forschung zeigt, dass LLM-basierte Deanonymisierung $1-$4 pro Profil kostet, was Massen-Deanonymisierung wirtschaftlich machbar macht. Für defensive Anonymisierung liegen die Kosten unter $0,035 pro Kommentar mit GPT-4. Diese niedrigen Kosten ermöglichen staatlichen Akteuren, Unternehmen, Stalkern und böswilligen Personen groß angelegte Datenschutzangriffe.
Welche Arten von PII können LLMs aus Text extrahieren?
LLMs sind hervorragend bei der Extraktion von: E-Mail-Adressen (100% Genauigkeit mit GPT-4), Telefonnummern (98%), Postadressen und Namen. Sie können auch nicht explizite PII ableiten: Standort, Einkommensniveau, Alter, Geschlecht, Beruf, Bildung, Beziehungsstatus und Geburtsort aus subtilen Texthinweisen und Schreibmustern.
Was ist ein Membership Inference Angriff (MIA)?
Membership Inference Angriffe bestimmen, ob bestimmte Daten zum Training eines KI-Modells verwendet wurden. Bei LLMs zeigt dies, ob Ihre persönlichen Informationen im Trainingsdatensatz waren. Forschung zeigt, dass E-Mail-Adressen und Telefonnummern besonders anfällig sind. Neue Angriffsvektoren umfassen Tokenizer-basierte Inferenz und Attention-Signal-Analyse (AttenMIA).
Wie leaken Prompt-Injection-Angriffe persönliche Daten?
Prompt-Injection manipuliert LLM-Agenten, um persönliche Daten preiszugeben, die während der Aufgabenausführung beobachtet wurden. In Banking-Agenten-Szenarien erreichen Angriffe ~20% Erfolgsrate bei der Exfiltration persönlicher Daten, bei 15-50% Nützlichkeitseinbuße unter Angriff. Während Sicherheits-Alignments Passwort-Leaks verhindern, bleiben andere persönliche Daten anfällig.
Wie kann anonym.legal gegen LLM-Datenschutzangriffe schützen?
anonym.legal bietet echte Anonymisierung durch: (1) PII-Erkennung - 285+ Entitätstypen einschließlich Namen, Standorte, Daten, Schreibmuster, (2) Ersetzung - ersetzt echte PII durch formatgültige Alternativen, (3) Schwärzung - entfernt sensible Informationen vollständig, (4) Reversible Verschlüsselung - AES-256-GCM für autorisierten Zugriff. Anders als Pseudonymisierung, die LLMs überwinden, entfernt echte Anonymisierung die Signale, die LLMs zur Deanonymisierung nutzen.
Schutz vor LLM-Datenschutzangriffen
Verlassen Sie sich nicht auf Pseudonymität. Nutzen Sie echte Anonymisierung, um sensible Dokumente, Nutzerdaten und Kommunikation vor KI-gestützten Identifizierungsangriffen zu schützen.