LLM Privacy Attack Research
12 door collega's beoordeelde onderzoekspapers die aantonen waarom pseudonimiteit tegen AI faalt.
Deanonimisering, PII-extractie, membership inference, prompt injection-aanvallen — en hoe jezelf ertegen te verdedigen.
Categorieën Privacyaanvallen
Deanonimisering
LLM's associëren anonieme berichten met echte identiteiten met behulp van schrijfstijl, feiten en temporele patronen. 68% nauwkeurigheid tegen €1-€4 per profiel.
Attribuut Inferentie
LLM's leiden persoonlijke kenmerken af (locatie, inkomen, leeftijd) uit tekst, zelfs wanneer niet vermeld. GPT-4 bereikt 85% top-1 nauwkeurigheid.
PII-extractie
Extractie van persoonlijke informatie uit trainingsgegevens of prompts. 100% e-mailextractie nauwkeurigheid met GPT-4. 5× toename met geavanceerde aanvallen.
Prompt Injection
LLM-agenten manipuleren om persoonlijke gegevens te lekken tijdens taakuitvoering. ~20% aanvalsuccesspercentage in bankscenario's.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Belangrijkste Bevinding
68% recall at 90% precision for deanonymization using ESRC framework
Methodologie
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC Framework
LLM extraheert identificatiefacta uit anonieme berichten
Gebruikt feiten om openbare databases te bevragen (LinkedIn, enz.)
LLM redeneert over kandidaat overeenkomsten
Vertrouwensscore om valse positieven te minimaliseren
Experimentele Resultaten
| Dataset | Recall @ 90% Nauwkeurigheid | Notities |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implicaties
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Alle Onderzoekspapers
11 aanvullende door collega's beoordeelde studies over LLM privacyaanvallen
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Belangrijkste Bevindingen
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Belangrijkste Bevindingen
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Belangrijkste Bevindingen
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Belangrijkste Bevindingen
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Belangrijkste Bevindingen
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Belangrijkste Bevindingen
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Belangrijkste Bevindingen
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Belangrijkste Bevindingen
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Belangrijkste Bevindingen
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Belangrijkste Bevindingen
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Belangrijkste Bevindingen
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Verdedigingsstrategieën uit Onderzoek
Wat Niet Werkt
- ✗Pseudonimiteit — LLM's verslaan gebruikersnamen, handles, weergavenamen
- ✗Tekst-naar-afbeelding conversie — Slechts lichte afname tegen multimodale LLM's
- ✗Model alignment alleen — Momenteel ineffectief om inferentie te voorkomen
- ✗Eenvoudige tekstanonymisering — Onvoldoende tegen LLM-redenering
Wat Werkt
- ✓Adversariale anonymisering — Vermindert inferentie van 66,3% naar 45,3%
- ✓Differentiële privacy — Vermindert PII-precisie van 33,86% naar 9,37%
- ✓Verdediging tegen prompt injection — Meest effectief tegen LLM-gebaseerde PIE
- ✓Echte PII verwijdering/vervanging — Verwijdert signalen die LLM's gebruiken
Waarom Dit Onderzoek Belangrijk Is
Deze 12 onderzoekspapers demonstreren een fundamentele verschuiving in privacybedreigingen. Traditionele anonimiseringsbenaderingen zoals pseudoniemen, gebruikersnamen en handle-wijzigingen bieden niet langer voldoende bescherming tegen vastberaden tegenstanders met toegang tot LLM's.
Belangrijkste Bedreigingsmetriek
- 68% deanonimiseringsnauwkeurigheid bij 90% precisie (Hacker News → LinkedIn)
- 85% attribuut inferentie nauwkeurigheid voor locatie, inkomen, leeftijd, beroep
- 100% e-mailextractie en 98% telefoonnummerextractie (GPT-4)
- 5× toename in PII-lekkage met geavanceerde multi-query aanvallen
- €1-€4 per profiel maakt massale aanvallen economisch haalbaar
Wie is in Gevaar
- Klokkenluiders & activisten: Anonieme berichten kunnen aan echte identiteiten worden gekoppeld
- Professionals: Reddit-activiteit gekoppeld aan LinkedIn-profielen
- Patiënten in de gezondheidszorg: Membership inference onthult of gegevens in training waren
- Iedereen met historische berichten: Jaren aan gegevens kunnen retroactief worden geanonimiseerd
Hoe anonym.legal Deze Bedreigingen Aanpakt
anonym.legal biedt echte anonymisering die signalen verwijdert die LLM's gebruiken:
- 285+ Entity Types: Namen, locaties, datums, temporele markers, identifiers
- Schrijfpatroon Disruptie: Vervangt tekst die stylometrische vingerafdrukken onthult
- Omkeerbare Versleuteling: AES-256-GCM voor gevallen die geautoriseerde toegang vereisen
- Meerdere Operators: Vervangen, Redigeren, Hash, Versleutelen, Masker, Aangepast
Veelgestelde Vragen
Wat is LLM-gebaseerde deanonimisering?
LLM-gebaseerde deanonimisering gebruikt grote taalmodellen om echte individuen te identificeren uit anonieme of pseudo-anonieme online berichten. In tegenstelling tot traditionele methoden die op schaal mislukken, kunnen LLM's schrijfstijlanalyse (stylometrie), verkregen feiten, temporele patronen en contextueel redeneren combineren om anonieme profielen aan echte identiteiten te koppelen. Onderzoek toont tot 68% nauwkeurigheid aan bij 90% precisie, vergeleken met bijna 0% voor klassieke methoden.
Hoe nauwkeurig is LLM-deanonimisering?
Onderzoek toont alarmerend nauwkeurigheidspercentages aan: 68% recall bij 90% precisie voor Hacker News naar LinkedIn matching, 67% voor Reddit temporele analyse (dezelfde gebruiker in de loop der tijd), 35% op internetschaal (1M+ kandidaten). Voor attribuut inferentie bereikt GPT-4 85% top-1 nauwkeurigheid bij het afleiden van persoonlijke kenmerken zoals locatie, inkomen, leeftijd en beroep uit alleen Reddit-berichten.
Wat is het ESRC framework?
ESRC (Extract-Search-Reason-Calibrate) is een vierstaps LLM-deanonimiseringsframework: (1) Extractie - LLM haalt identificatiefacta uit anonieme berichten uit met NLP, (2) Zoeken - bevraagt openbare databases zoals LinkedIn met behulp van geëxtraheerde feiten en semantische embeddings, (3) Redenering - LLM redeneert over kandidaatovereenkomsten door samenhang te analyseren, (4) Kalibreren - vertrouwensscore om valse positieven te minimaliseren en echte positieven te maximaliseren.
Hoeveel kost LLM-deanonimisering?
Onderzoek toont aan dat LLM-gebaseerde deanonimisering €1-€4 per profiel kost, waardoor massale deanonimisering economisch haalbaar is. Voor defensieve anonymisering liggen de kosten onder €0,035 per opmerking met behulp van GPT-4. Deze lage kosten stellen staatsactoren, bedrijven, stalkers en kwaadwillende personen in staat om grootschalige privacyaanvallen uit te voeren.
Welke soorten PII kunnen LLM's uit tekst extraheren?
LLM's zijn uitmuntend in het extraheren van: e-mailadressen (100% nauwkeurigheid met GPT-4), telefoonnummers (98%), postadressen en namen. Ze kunnen ook niet-expliciet PII afleiden: locatie, inkomensniveau, leeftijd, geslacht, beroep, onderwijs, burgerlijke staat en geboorteland uit subtiele tekstuele aanwijzingen en schrijfpatronen.
Wat is een membership inference-aanval (MIA)?
Membership inference-aanvallen bepalen of specifieke gegevens zijn gebruikt om een AI-model te trainen. Voor LLM's onthult dit of uw persoonlijke informatie in de trainingsdataset stond. Onderzoek toont aan dat e-mailadressen en telefoonnummers bijzonder kwetsbaar zijn. Nieuwe aanvalsvectoren omvatten op tokenizer gebaseerde inferentie en aandachtssignaalanalyse (AttenMIA).
Hoe lekken prompt injection-aanvallen persoonlijke gegevens?
Prompt injection manipuleert LLM-agenten om persoonlijke gegevens te lekken die tijdens taakuitvoering zijn waargenomen. In bankenagentscenario's bereiken aanvallen ~20% succespercentage bij het exfiltreren van persoonlijke gegevens, met 15-50% nutsdegradatie onder aanval. Hoewel veiligheidscalibratie wachtwoordlekkage voorkomt, blijven andere persoonlijke gegevens kwetsbaar.
Hoe kan anonym.legal helpen beschermen tegen LLM privacyaanvallen?
anonym.legal biedt echte anonymisering via: (1) PII Detectie - 285+ entity types inclusief namen, locaties, datums, schrijfpatronen, (2) Vervanging - vervangt echte PII door formaat-geldige alternatieven, (3) Redactie - verwijdert gevoelige informatie volledig, (4) Omkeerbare Versleuteling - AES-256-GCM voor geautoriseerde toegang. In tegenstelling tot pseudonimiteit die LLM's verslaan, verwijdert echte anonymisering de signalen die LLM's voor deanonimisering gebruiken.
Beschermen Tegen LLM Privacyaanvallen
Vertrouw niet op pseudonimiteit. Gebruik echte anonymisering om gevoelige documenten, gebruikersgegevens en communicatie te beschermen tegen AI-aangedreven identificatieaanvallen.