Výskum útokov LLM na súkromie
12 recenzovaných výskumných prác demonštrujúcich, prečo pseudonymita zlyhá voči AI.
Deanonymizácia, extrahovanie PII, inferencie členstva, útoky prompt injectionom — a ako sa proti nim brániť.
Kategórie útokov na súkromie
Deanonymizácia
LLM porovnávajú anonymné príspevky s reálnymi identitami pomocou štýlu písania, faktov a časových vzorov. Presnosť 68% za $1-$4/profil.
Inferencie atribútov
LLM odhadujú osobné atribúty (polohu, príjem, vek) z textu aj keď nie sú uvedené. GPT-4 dosahuje presnosť 85% top-1.
Extrahovanie PII
Extrahovanie osobných informácií z trénovacích údajov alebo promptov. Extrahovanie e-mailu s 100% presnosťou s GPT-4. Zvýšenie 5× pokročilými útokmi.
Prompt injection
Manipulácia LLM agentov k úniku osobných údajov počas vykonávania úloh. ~20% úspešnosť útoku v scenároch bankovníctva.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Kľúčový nález
68% recall at 90% precision for deanonymization using ESRC framework
Metodológia
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Rámec ESRC
LLM extrahuje identifikujúce fakty z anonymných príspevkov
Používa fakty na dopytovanie verejných databáz (LinkedIn atď.)
LLM uvažuje o kandidátnych zhode
Skórovanie dôvery na minimalizáciu falošných pozitívov
Experimentálne výsledky
| Datová sada | Recall @ 90% Precision | Poznámky |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Dôsledky
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Všechny výskumné práce
11 ďalších recenzovaných štúdií o útokoch LLM na súkromie
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Kľúčové nálezy
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Kľúčové nálezy
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Kľúčové nálezy
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Kľúčové nálezy
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Kľúčové nálezy
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Kľúčové nálezy
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Kľúčové nálezy
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Kľúčové nálezy
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Kľúčové nálezy
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Kľúčové nálezy
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Kľúčové nálezy
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Obranné stratégie z výskumu
Čo nefunguje
- ✗Pseudonymizácia — LLM porazia používateľské mená, prezývky, zobrazované mená
- ✗Konverzia textu na obrázok — Iba malý pokles voči multimodálnym LLM
- ✗Iba vyladenie modelu — V súčasnosti neúčinné na zabránenie inferenciám
- ✗Jednoduchá anonymizácia textu — Nedostatočná voči uvažovaniu LLM
Čo funguje
- ✓Antagonistická anonymizácia — Znižuje inferenciu 66,3% → 45,3%
- ✓Diferenciálne súkromie — Znižuje presnosť PII 33,86% → 9,37%
- ✓Obrana pred prompt injectionom — Najúčinnejšia voči LLM PIE
- ✓Skutočné odstránenie/nahradenie PII — Odstraňuje signály, ktoré LLM používa
Prečo je tento výskum dôležitý
Týchto 12 výskumných prác demonštruje zásadný posun v hrozbách súkromia. Tradičné prístupy anonymizácie ako pseudonymá, používateľské mená a zmeny prezývok už nie sú dostatočnou ochranou voči odhodlaným útočníkom s prístupom k LLM.
Kľúčové metriky hrozieb
- Presnosť deanonymizácie 68% pri 90% presnosti (Hacker News → LinkedIn)
- Presnosť inferencie atribútov 85% pre polohu, príjem, vek, pracovnú pozíciu
- Extrahovanie e-mailu 100% a extrahovanie telefónneho čísla 98% (GPT-4)
- Zvýšenie úniku PII 5× pomocou sofistikovaných viacnásobných útokov
- Náklady $1-$4 na profil umožňujú hromadné útoky ekonomicky uskutočniteľné
Kto je v ohrození
- Svedkovia a aktivisti: Anonymné príspevky možno spojiť s reálnymi identitami
- Profesionáli: Aktivita na Reddite prepojená s profilmi LinkedIn
- Pacienti zdravotnej starostlivosti: Inferencie členstva odhaľujú, či boli údaje v trénovaní
- Kokoľvek s historickými príspevkami: Roky údajov možno retroaktívne deanonymizovať
Ako sa anonym.legal staví týmto hrozbám
anonym.legal poskytuje skutočnú anonymizáciu, ktorá odstraňuje signály, ktoré LLM používajú:
- 285+ typov entít: Mená, polohy, dátumy, časové značky, identifikátory
- Prerušenie vzoru písania: Nahradzuje text, ktorý odhaľuje stylometrické odtlačky
- Reverzibilné šifrovanie: AES-256-GCM pre prípady vyžadujúce autorizovaný prístup
- Viacerí operátori: Nahradenie, redakcia, hash, šifrovanie, maskovanie, vlastné
Často kladené otázky
Čo je deanonymizácia na báze LLM?
Deanonymizácia na báze LLM používa veľké jazykové modely na identifikáciu reálnych osôb z anonymných alebo pseudonymných online príspevkov. Na rozdiel od tradičných metód, ktoré zlyhávajú v rozsahu, môžu LLM kombinovať analýzu štýlu písania (stylometriu), uvedené fakty, časové vzorce a kontextové uvažovanie na priradenie anonymných profilov reálnym identitám. Výskum ukazuje presnosť až 68% pri 90% presnosti, v porovnaní s takmer 0% pre klasické metódy.
Ako presná je deanonymizácia LLM?
Výskum demonštruje alarmujúce úrovne presnosti: 68% recall pri 90% presnosti na porovnanie Hacker News s LinkedIn, 67% na časovú analýzu Redditu (rovnaký používateľ v čase), 35% v internetovom rozsahu (1M+ kandidátov). Na inferenciu atribútov dosahuje GPT-4 presnosť 85% top-1 pri odhadovaní osobných atribútov ako poloha, príjem, vek a pracovná pozícia iba z príspevkov na Reddite.
Čo je rámec ESRC?
ESRC (Extract-Search-Reason-Calibrate) je štvorbitový rámec deanonymizácie LLM: (1) Extrahovanie - LLM extrahuje identifikujúce fakty z anonymných príspevkov pomocou NLP, (2) Vyhľadávanie - dopytuje verejné databázy ako LinkedIn pomocou extrahovaných faktov a sémantických vložení, (3) Uvažovanie - LLM uvažuje o kandidátnych zhodách analyzujúc konzistenciu, (4) Kalibrácia - skórovanie dôvery na minimalizáciu falošných pozitívov a maximalizáciu skutočných zhodov.
Koľko stojí deanonymizácia LLM?
Výskum ukazuje, že deanonymizácia na báze LLM stojí $1-$4 na profil, čo činí hromadnú deanonymizáciu ekonomicky uskutočniteľnou. Na defenzívnu anonymizáciu stoja náklady pod $0,035 na komentár pomocou GPT-4. Tieto nízke náklady umožňujú štátnym aktérom, korporáciám, stalkérom a škodlivým jednotlivcom vykonávať rozsiahlé útoky na súkromie.
Aké typy PII môžu LLM extrahovať z textu?
LLM vynikajú pri extrahovaní: e-mailové adresy (100% presnosť s GPT-4), telefónne čísla (98%), poštovné adresy a mená. Môžu tiež odhadovať explicitne neuvedené PII: polohu, úroveň príjmu, vek, pohlavie, pracovnú pozíciu, vzdelanie, rodinný stav a miesto narodenia z jemných textových signálov a vzorcov písania.
Čo je útok inferencie členstva (MIA)?
Útoky inferencie členstva určujú, či boli konkrétne údaje použité na trénovanie modelu AI. Pre LLM to odhaľuje, či boli vaše osobné informácie v trénovacej sade údajov. Výskum ukazuje, že e-mailové adresy a telefónne čísla sú zvlášť zraniteľné. Nové vektory útokov zahŕňajú tokenizer-based inferenciu a analýzu attention signálu (AttenMIA).
Ako útoky prompt injectionom úniku osobných údajov?
Prompt injection manipuluje LLM agentov k úniku osobných údajov pozorovaných počas vykonávania úloh. V scenároch bankovného agenta dosahujú útoky ~20% úspešnosť pri exfiltrácii osobných údajov, s degradáciou utility 15-50% pod útokom. Zatiaľ čo bezpečnostné vyladenie bráni úniku hesiel, ostatné osobné údaje zostávajú zraniteľné.
Ako vám môže anonym.legal pomôcť chrániť sa pred útokmi LLM na súkromie?
anonym.legal poskytuje skutočnú anonymizáciu prostredníctvom: (1) Detekcia PII - 285+ typov entít vrátane mien, polôh, dátumov, vzorcov písania, (2) Nahradenie - nahradzuje skutočné PII formátom platnými alternatívami, (3) Redakcia - úplne odstraňuje citlivé informácie, (4) Reverzibilné šifrovanie - AES-256-GCM pre autorizovaný prístup. Na rozdiel od pseudonymizácie, ktorú LLM porazia, skutočná anonymizácia odstraňuje signály, ktoré LLM používajú na deanonymizáciu.
Chráňte sa pred útokmi LLM na súkromie
Nespoliehajte sa na pseudonymitu. Použite skutočnú anonymizáciu na ochranu citlivých dokumentov, údajov používateľov a komunikácie pred útokmi identifikácie poháňanými AI.