LLM-privatlivsangrebsforskning
12 fagfællebedømt artikler der demonstrerer, hvorfor pseudonymitet fejler mod AI.
Deanonymisering, PII-udvidelse, medlemskabsinterpretation, prompt-injektionsangreb — og hvordan du beskytter dig.
Privatlivs-angrebskategorier
Deanonymisering
LLM'er matcher anonyme indlæg til rigtige identiteter ved hjælp af skrivestil, fakta og tidsmæssige mønstre. 68% nøjagtighed for $1-$4/profil.
Attributinterpretation
LLM'er udleder personlige attributter (placering, indkomst, alder) fra tekst, selv når de ikke er angivet. GPT-4 opnår 85% top-1-nøjagtighed.
PII-udvidelse
Udvidelse af personlige oplysninger fra træningsdata eller prompts. 100% e-mail-udvidelsesnøjagtighed med GPT-4. 5× forøgelse med avancerede angreb.
Prompt-injektion
Manipulation af LLM-agenter for at lække personlige data under opgavekørsel. ~20% angrebssucces i bankscenarier.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Vigtigste fund
68% recall at 90% precision for deanonymization using ESRC framework
Metodologi
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC-rammeværk
LLM udvinder identifikationsoplysninger fra anonyme indlæg
Bruger oplysninger til at forespørge offentlige databaser (LinkedIn osv.)
LLM begrunder om mulige match
Tillidsscoring for at minimere falske positiver
Eksperimentelle resultater
| Datasæt | Genkaldelse @ 90% præcision | Noter |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Konsekvenser
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Alle forskningsartikler
11 yderligere fagfællebedømt studier om LLM-privatlivsangreb
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Vigtigste fund
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Vigtigste fund
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Vigtigste fund
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Vigtigste fund
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Vigtigste fund
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Vigtigste fund
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Vigtigste fund
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Vigtigste fund
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Vigtigste fund
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Vigtigste fund
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Vigtigste fund
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Forsvarstrategier fra forskning
Hvad der ikke virker
- ✗Pseudonymisering — LLM'er besejrer brugernavne, handles, visningsnavne
- ✗Tekst-til-billede konvertering — Kun lille reduktion mod multimodale LLM'er
- ✗Model-alignment alene — I øjeblikket ineffektiv til at forhindre inferens
- ✗Simpel tekstanonymisering — Utilstrækkelig mod LLM-ræsonnement
Hvad der virker
- ✓Adversarisk anonymisering — Reducerer inferens 66,3% → 45,3%
- ✓Differentiel privathed — Reducerer PII-præcision 33,86% → 9,37%
- ✓Forsvaret mod prompt-injektion — Mest effektiv mod LLM-baseret PIE
- ✓Sand PII-fjernelse/erstatning — Fjerner signaler, som LLM'er bruger
Hvorfor denne forskning betyder noget
Disse 12 forskningsartikler demonstrerer et fundamentalt skift i privatlivsrisici. Traditionelle anonymiseringstilgange som pseudonymer, brugernavne og handle-ændringer er ikke længere tilstrækkelig beskyttelse mod beslutsomme modstandere med adgang til LLM'er.
Vigtigste truselsmålinger
- 68% deanonymiseringsnøjagtighed ved 90% præcision (Hacker News → LinkedIn)
- 85% attributinterpretationsnøjagtighed for placering, indkomst, alder, erhverv
- 100% e-mail-udvidelse og 98% telefonnummerudvidelse (GPT-4)
- 5× forøgelse i PII-lækage med sofistikerede multi-forespørgselsangreb
- $1-$4 omkostning pr. profil gør masseangreb økonomisk muligt
Hvem er i risiko
- Whistleblowers og aktivister: Anonyme indlæg kan linkes til rigtige identiteter
- Fagfolk: Reddit-aktivitet linket til LinkedIn-profiler
- Sundhedspatienter: Medlemskabsinterpretation afslører, om data var i træning
- Enhver med historiske indlæg: År med data kan retroaktivt deanonymiseres
Hvordan anonym.legal håndterer disse trusler
anonym.legal giver sand anonymisering, der fjerner de signaler, som LLM'er bruger:
- 285+ enhetstyper: Navne, steder, datoer, tidsmærker, identifikatorer
- Skrivemønsterforstyrrelser: Erstatter tekst, der afslører stilometriske fingeraftryk
- Reversibel kryptering: AES-256-GCM til tilfælde, der kræver autoriseret adgang
- Flere operatører: Erstat, Redact, Hash, Krypter, Mask, Custom
Ofte stillede spørgsmål
Hvad er LLM-baseret deanonymisering?
LLM-baseret deanonymisering bruger store sprogmodeller til at identificere rigtige personer fra anonyme eller pseudonyme online-indlæg. I modsætning til traditionelle metoder, der fejler i stor skala, kan LLM'er kombinere skrivestilsanalyse (stilometri), angivne fakta, tidsmæssige mønstre og kontekstuelt ræsonnement for at matche anonyme profiler til rigtige identiteter. Forskning viser op til 68% nøjagtighed ved 90% præcision, sammenlignet med næsten 0% for klassiske metoder.
Hvor nøjagtig er LLM-deanonymisering?
Forskning demonstrerer alarmerende nøjagtighedsniveauer: 68% genkaldelse ved 90% præcision for Hacker News til LinkedIn-matching, 67% for Reddit tidsmæssig analyse (samme bruger over tid), 35% ved internetskala (1M+ kandidater). For attributinterpretation opnår GPT-4 85% top-1-nøjagtighed ved at udlede personlige attributter som placering, indkomst, alder og erhverv fra Reddit-indlæg alene.
Hvad er ESRC-rammeværket?
ESRC (Extract-Search-Reason-Calibrate) er et fire-trinss LLM-deanonymiseringsrammeværk: (1) Udvind - LLM udvinder identifikationsoplysninger fra anonyme indlæg ved hjælp af NLP, (2) Søg - forespørger offentlige databaser som LinkedIn ved hjælp af udvundne oplysninger og semantiske indlejringer, (3) Begrund - LLM begrunder om mulige match ved at analysere konsistens, (4) Kalibrering - tillidsscoring for at minimere falske positiver og samtidig maksimere sande match.
Hvor meget koster LLM-deanonymisering?
Forskning viser, at LLM-baseret deanonymisering koster $1-$4 per profil, hvilket gør massdeanonymisering økonomisk muligt. For defensiv anonymisering koster det under $0,035 pr. kommentar ved hjælp af GPT-4. Denne lave omkostning gør det muligt for statens aktører, virksomheder, stalker og ondskabsfulde personer at udføre storskalede privatlivsangreb.
Hvilke typer af PII kan LLM'er udtrække fra tekst?
LLM'er er meget dygtige til at udtrække: e-mail-adresser (100% nøjagtighed med GPT-4), telefonnumre (98%), postadresser og navne. De kan også udlede ikke-eksplicit PII: placering, indkomstniveau, alder, køn, erhverv, uddannelse, civilstand og fødselssted fra subtile tekstuelle signaler og skrivemønster.
Hvad er et medlemskabsinterpretationsangreb (MIA)?
Medlemskabsinterpretationsangreb afgør, om specifikke data blev brugt til at træne en AI-model. For LLM'er afslører dette, om dine personlige oplysninger var i træningsdatasættet. Forskning viser, at e-mail-adresser og telefonnumre er særligt sårbare. Nye angrebsvektorer omfatter tokenizer-baseret interpretationen og analyse af opmærksomhedssignaler (AttenMIA).
Hvordan lækker prompt-injektionsangreb personlige data?
Prompt-injektion manipulerer LLM-agenter for at lække personlige data observeret under opgavekørsel. I bankagentur-scenarier opnår angreb ~20% succes med at exfiltrere personlige data, med 15-50% brugeværdiforringelse under angreb. Mens sikkerhedsjustering forhindrer adgangskodelækage, forbliver anden personlig data sårbar.
Hvordan kan anonym.legal beskytte mod LLM-privatlivsangreb?
anonym.legal giver sand anonymisering gennem: (1) PII-detektion - 285+ enhetstyper inklusive navne, steder, datoer, skrivemønster, (2) Erstatning - erstatter ægte PII med formatlydige alternativer, (3) Redaction - fjerner helt følsomme oplysninger, (4) Reversibel kryptering - AES-256-GCM til autoriseret adgang. I modsætning til pseudonymisering, som LLM'er besejrer, fjerner sand anonymisering de signaler, som LLM'er bruger til deanonymisering.
Beskyt mod LLM-privatlivsangreb
Stol ikke på pseudonymitet. Brug sand anonymisering til at beskytte følsomme dokumenter, brugerdata og kommunikation mod AI-drevne identifikationsangreb.