Výzkum LLM útoků na soukromí
12 recenzovaných výzkumných prací demonstrujících, proč pseudonymita selhává proti AI.
Deanonymizace, extrakce PII, inference členství, útoky prompt injectionem — a jak se proti nim chránit.
Kategorie útoků na soukromí
Deanonymizace
LLM srovnávají anonymní příspěvky s reálnými identitami pomocí stylu psaní, faktů a časových vzorů. Přesnost 68% za $1-$4/profil.
Inference atributů
LLM odvozují osobní atributy (polohu, příjem, věk) z textu i když nejsou uvedeny. GPT-4 dosahuje přesnosti 85% top-1.
Extrakce PII
Extrakce osobních informací z trénovacích dat nebo promptů. Extrakce e-mailu s přesností 100% pomocí GPT-4. Zvýšení 5× pokročilými útoky.
Prompt injection
Manipulace LLM agentů k úniku osobních dat během provádění úloh. ~20% úspěšnost útoku ve scénářích bankovnictví.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Klíčový nález
68% recall at 90% precision for deanonymization using ESRC framework
Metodologie
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Rámec ESRC
LLM extrahuje identifikující fakta z anonymních příspěvků
Používá fakta k dotazování veřejných databází (LinkedIn atd.)
LLM uvažuje o kandidátních shodách
Bodování důvěry pro minimalizaci falešně pozitivních výsledků
Experimentální výsledky
| Datová sada | Recall @ 90% Precision | Poznámky |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Důsledky
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Všechny výzkumné práce
11 dalších recenzovaných studií o LLM útocích na soukromí
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Klíčové nálezy
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Klíčové nálezy
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Klíčové nálezy
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Klíčové nálezy
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Klíčové nálezy
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Klíčové nálezy
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Klíčové nálezy
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Klíčové nálezy
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Klíčové nálezy
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Klíčové nálezy
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Klíčové nálezy
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Obranné strategie z výzkumu
Co nefunguje
- ✗Pseudonymizace — LLM porazí uživatelská jména, přezdívky, zobrazovaná jména
- ✗Konverze textu na obrázek — Pouze malý pokles proti multimodálním LLM
- ✗Pouze vyladění modelu — V současnosti neúčinné pro zabránění inferenci
- ✗Jednoduchá anonymizace textu — Nedostatečná proti uvažování LLM
Co funguje
- ✓Antagonistická anonymizace — Snižuje inferenci 66,3% → 45,3%
- ✓Diferenciální soukromí — Snižuje přesnost PII 33,86% → 9,37%
- ✓Obrana proti prompt injectionu — Nejvíce účinná proti LLM PIE
- ✓Skutečné odstranění/nahrazení PII — Odstraňuje signály, které LLM používá
Proč je tento výzkum důležitý
Těchto 12 výzkumných prací ukazuje zásadní posun v hrozbách soukromí. Tradiční přístupy anonymizace jako pseudonyma, uživatelská jména a změny přezdívek již nejsou dostatečnou ochranou před určitými útočníky s přístupem k LLM.
Klíčové metriky hrozeb
- Přesnost deanonymizace 68% při 90% preciznosti (Hacker News → LinkedIn)
- Přesnost inference atributů 85% pro polohu, příjem, věk, pracovní pozici
- Extrakce e-mailu 100% a extrakce telefonního čísla 98% (GPT-4)
- Zvýšení úniku PII 5× pomocí sofistikovaných vícenásobných útoků
- Náklady $1-$4 na profil činí hromadné útoky ekonomicky proveditelné
Kdo je v ohrožení
- Hlasitelé & aktivisté: Anonymní příspěvky lze propojit s reálnými identitami
- Profesionálové: Aktivita na Redditu propojená s profily LinkedIn
- Pacienti zdravotnictví: Inference členství odhaluje, zda byla data v trénování
- Kdokoli s historickými příspěvky: Roky dat lze retroaktivně deanonymizovat
Jak se anonym.legal těmto hrozbám staví
anonym.legal poskytuje skutečnou anonymizaci, která odstraňuje signály, které LLM používá:
- 285+ typů entit: Jména, polohy, data, časové značky, identifikátory
- Zásah do vzoru psaní: Nahrazuje text, který odhaluje stylometrické otisky
- Reverzibilní šifrování: AES-256-GCM pro případy vyžadující autorizovaný přístup
- Více operátorů: Nahrazení, redakce, hash, šifrování, maskování, vlastní
Často kladené otázky
Co je deanonymizace na bázi LLM?
Deanonymizace na bázi LLM používá velké jazykové modely k identifikaci reálných osob z anonymních nebo pseudonymních online příspěvků. Na rozdíl od tradičních metod, které selhávají při velkém měřítku, mohou LLM kombinovat analýzu stylu psaní (stylometrii), uvedené fakty, časové vzorce a kontextové uvažování k přiřazení anonymních profilů reálným identitám. Výzkum ukazuje přesnost až 68% při 90% preciznosti, ve srovnání s téměř 0% u klasických metod.
Jak přesná je deanonymizace LLM?
Výzkum demonstruje alarmující úrovně přesnosti: 68% recall při 90% preciznosti pro srovnání Hacker News s LinkedIn, 67% pro časovou analýzu Redditu (stejný uživatel v čase), 35% v internetovém měřítku (1M+ kandidátů). Pro inferenci atributů dosahuje GPT-4 přesnosti 85% top-1 při odvozování osobních atributů jako poloha, příjem, věk a pracovní pozice pouze z příspěvků na Redditu.
Co je rámec ESRC?
ESRC (Extract-Search-Reason-Calibrate) je čtyřkrokový rámec deanonymizace LLM: (1) Extrakce - LLM extrahuje identifikující fakta z anonymních příspěvků pomocí NLP, (2) Vyhledávání - dotazuje veřejné databáze jako LinkedIn pomocí extrahovaných faktů a sémantických vložení, (3) Uvažování - LLM uvažuje o kandidátních shodách analyzujícím konzistenci, (4) Kalibrování - bodování důvěry pro minimalizaci falešně pozitivních výsledků a maximalizaci skutečných shod.
Kolik stojí deanonymizace LLM?
Výzkum ukazuje, že deanonymizace na bázi LLM stojí $1-$4 na profil, což činí hromadnou deanonymizaci ekonomicky proveditelnou. Pro ochranu anonymizace stojí pod $0,035 na komentář pomocí GPT-4. Tyto nízké náklady umožňují státním aktérům, korporacím, stalkům a škodlivým jednotlivcům provádět rozsáhlé útoky na soukromí.
Jaké typy PII mohou LLM extrahovat z textu?
LLM vynikají v extrakci: e-mailové adresy (přesnost 100% s GPT-4), telefonní čísla (98%), poštovní adresy a jména. Mohou také odvozovat explicitně neuvedené PII: polohu, úroveň příjmu, věk, pohlaví, pracovní pozici, vzdělání, rodinný stav a místo narození z jemných textových podnětů a vzorů psaní.
Co je útok inference členství (MIA)?
Útoky inference členství určují, zda byla konkrétní data použita k trénování modelu AI. Pro LLM to odhaluje, zda byly vaše osobní informace v trénovací datové sadě. Výzkum ukazuje, že e-mailové adresy a telefonní čísla jsou zvláště zranitelné. Nové vektory útoku zahrnují tokenizer-based inference a analýzu attention signálu (AttenMIA).
Jak útoky prompt injectionem úniku osobních dat?
Prompt injection manipuluje LLM agenty k úniku osobních dat pozorovaných během provádění úloh. Ve scénářích bankovního agenta dosahují útoky ~20% úspěšnosti při exfiltraci osobních dat, s degradací utility 15-50% pod útokem. Zatímco bezpečnostní vyladění brání úniku hesel, ostatní osobní data zůstávají zranitelná.
Jak vám může anonym.legal pomoci chránit se proti LLM útokům na soukromí?
anonym.legal poskytuje skutečnou anonymizaci prostřednictvím: (1) Detekce PII - 285+ typů entit včetně jmen, polohy, dat, vzorů psaní, (2) Nahrazení - substituuje skutečné PII formátem platnými alternativami, (3) Redakce - zcela odstraňuje citlivé informace, (4) Reverzibilní šifrování - AES-256-GCM pro autorizovaný přístup. Na rozdíl od pseudonymizace, kterou LLM porazí, skutečná anonymizace odstraňuje signály, které LLM používají pro deanonymizaci.
Chraňte se před LLM útaky na soukromí
Nepolupokládejte se na pseudonymitu. Použijte skutečnou anonymizaci k ochraně citlivých dokumentů, údajů uživatelů a komunikace před útoky na identifikaci poháněnými AI.