Raziskava napadov na zasebnost LLM
12 recenziranih raziskovalnih prispevkov, ki dokazujejo, zakaj anonimnost ne deluje proti AI.
Deidentifikacija, ekstrakcija PII, sklepanje pripadnosti, napadi vbrizgavanja pozivov — in kako se zaščititi.
Kategorije napadov na zasebnost
Deidentifikacija
LLM ujemajo anonimne objave s pravimi identitetami z analizo stila pisanja, dejstev in časovnih vzorcev. Natančnost 68% pri $1-$4/profil.
Sklepanje atributov
LLM sklepajo osebne atribute (lokacija, dohodek, starost) iz besedila tudi, ko niso navedeni. GPT-4 dosega top-1 natančnost 85%.
Ekstrakcija PII
Ekstrakcija osebnih podatkov iz podatkov o usposabljanju ali pozivov. 100% natančnost ekstrakcije e-pošte s GPT-4. Povečanje 5× s kompleksnejšimi napadi.
Vbrizgavanje pozivov
Manipulacija LLM agentov za puščanje osebnih podatkov med izvajanjem nalog. ~20% stopnja uspeha napada v bančnih scenarijih.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Ključno odkritje
68% recall at 90% precision for deanonymization using ESRC framework
Metodologija
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Okvir ESRC
LLM ekstrahira identifying dejstva iz anonimnih objav
Uporabi dejstva za iskanje javnih podatkovnih baz (LinkedIn itd.)
LLM sklepa o kandidatnih ujemanju
Ocena zaupanja za minimizacijo lažno pozitivnih
Eksperimentalni rezultati
| Nabor podatkov | Priklic @ 90% natančnost | Opombe |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implikacije
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Vsi raziskovalni prispevki
11 dodatnih recenziranih raziskovalnih prispevkov o napadih na zasebnost LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Ključna odkritja
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Ključna odkritja
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Ključna odkritja
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Ključna odkritja
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Ključna odkritja
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Ključna odkritja
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Ključna odkritja
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Ključna odkritja
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Ključna odkritja
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Ključna odkritja
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Ključna odkritja
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Strategije obrambe iz raziskave
Kaj ne deluje
- ✗Psevdonimnost — LLM premagajo uporabniška imena, nadimke, prikazana imena
- ✗Pretvorba besedila v sliko — Le minimalno zmanjšanje pred večmodalnimi LLM
- ✗Samo poravnava modela — Trenutno neučinkovita za preprečevanje sklepanja
- ✗Preprosta anonimizacija besedila — Nezadostna proti LLM sklepanju
Kaj deluje
- ✓Nasprotna anonimizacija — Zmanjša sklepanje 66,3% → 45,3%
- ✓Diferencialna zasebnost — Zmanjša natančnost PII 33,86% → 9,37%
- ✓Obrana pred vbrizgavanjem pozivov — Najefeketivnejša proti PIE na osnovi LLM
- ✓Pravo odstranjevanje/zamenjava PII — Odstrani signale, ki jih uporabljajo LLM
Zakaj je ta raziskava pomembna
Teh 12 raziskovalnih prispevkov kaže temeljito spremembo v grožnjah za zasebnost. Tradicionalni pristopi anonimizaciji, kot so psevdonimi, uporabniška imena in spremembe nadimkov, niso več zadostna zaščita pred odločnimi nasprotniki s dostopom do LLM.
Ključne metrike groženj
- Natančnost deidentifikacije 68% pri 90% natančnosti (Hacker News → LinkedIn)
- Natančnost sklepanja atributov 85% za lokacijo, dohodek, starost, poklic
- Ekstrakcija e-pošte 100% in ekstrakcija telefonske številke 98% (GPT-4)
- Povečanje 5× pri uhajanju PII s sofisticiiranimi napadi z več poizvedb
- $1-$4 cena na profil naredi masovne napade ekonomsko izvedljive
Kdo je ogrožen
- Razkritniki in aktivisti: Anonimne objave je mogoče povezati z pravimi identitetami
- Profesionalci: Dejavnost Reddit je povezana s profili LinkedIn
- Pacienti v zdravstvu: Sklepanje pripadnosti razkrije, ali so bili podatki v usposabljanju
- Kdorkoli ima zgodovinske objave: Leta podatkov je mogoče retroaktivno deidentificirati
Kako se anonym.legal sooča s temi grožnjami
anonym.legal zagotavlja pravo anonimizacijo, ki odstrani signale, ki jih uporabljajo LLM:
- 285+ vrst entitet: Imena, lokacije, datumi, časovni označevalci, identifikatorji
- Motnja vzorca pisanja: Zamenja besedilo, ki razodeva stilometrični prstni odtis
- Reverzibilno šifriranje: AES-256-GCM za primere, ki zahtevajo odobren dostop
- Večkratni operaterji: Zamenja, redakcija, hash, šifriranje, maska, prilagođena
Pogosto zastavljana vprašanja
Kaj je deidentifikacija na osnovi LLM?
Deidentifikacija na osnovi LLM uporablja velika jezikovna modela za identifikacijo pravih oseb iz anonimnih ali psevdonimnih spletnih objav. Za razliko od tradicionalnih metod, ki padejo v merilu, lahko LLM kombinira analizo sloga pisanja (stilometrija), navedena dejstva, časovne vzorce in kontekstno sklepanje za ujemanje anonimnih profilov s pravimi identitetami. Raziskave kažejo natančnost do 68% pri 90% natančnosti, v primerjavi z skoraj 0% za klasične metode.
Kako natančna je deidentifikacija LLM?
Raziskave kažejo alarmantne ravni natančnosti: priklic 68% pri 90% natančnosti za ujemanje Hacker News s LinkedIn, 67% za časovno analizo Reddit (ista oseba skozi čas), 35% pri spletnem merilu (1M+ kandidatov). Za sklepanje atributov dosega GPT-4 top-1 natančnost 85% s sklepanjem osebnih atributov, kot so lokacija, dohodek, starost in poklic samo iz Reddit objav.
Kaj je okvir ESRC?
ESRC (Extract-Search-Reason-Calibrate) je štiristo stopenjski okvir deidentifikacije LLM: (1) Ekstrakcija - LLM ekstrahira identifying dejstva iz anonimnih objav z uporabo NLP, (2) Iskanje - poizveduje javne podatkovne baze kot LinkedIn z uporabo ekstrahiranih dejstev in semantičnih vgradenj, (3) Sklepanje - LLM sklepa o kandidatnih ujemanju z analizo doslednosti, (4) Kalibracija - ocena zaupanja za minimizacijo lažno pozitivnih pri maksimizaciji pravi ujemanj.
Koliko stane deidentifikacija na osnovi LLM?
Raziskave kažejo, da deidentifikacija na osnovi LLM stane $1-$4 na profil, kar naredi masovno deidentifikacijo ekonomsko izvedljivo. Za obrambo anonimizacije so stroški pod $0,035 na komentar z uporabo GPT-4. Ta nizki stroški omogočajo državnim akterjem, korporacijam, nasledovanjem in zlonamernim osebam, da izvajajo napade na zasebnost v velikem merilu.
Katere vrste PII lahko ekstrahirajo LLM iz besedila?
LLM izstopajo pri ekstrakciji: e-poštnih naslovov (100% natančnost s GPT-4), telefonskih številk (98%), poštnih naslovov in imen. Lahko tudi sklepajo neeksplicitni PII: lokacija, raven dohodka, starost, spol, poklic, izobraževanje, status odnosa in kraj rojstva iz suptilnih tekstualnih znakov in vzorcev pisanja.
Kaj je napad sklepanja pripadnosti (MIA)?
Napadi sklepanja pripadnosti ugotavljajo, ali so bili specifični podatki uporabljeni za usposabljanje AI modela. Za LLM to razodeva, ali so bili vaši osebni podatki v nizu podatkov za usposabljanje. Raziskave kažejo, da so e-poštni naslovi in telefonske številke posebej ranljivi. Novi vektorji napada vključujejo sklepanje na osnovi tokenizatorja in analizo signalov pozornosti (AttenMIA).
Kako napadi vbrizgavanja pozivov puščajo osebne podatke?
Vbrizgavanje pozivov manipulira LLM agente za puščanje osebnih podatkov, opaženih med izvajanjem nalog. V scenarijih bančnih agentov napadi dosežejo ~20% stopnjo uspešnosti pri ekstrahiranju osebnih podatkov, z degradacijo uporabnosti 15-50% pod napadom. Medtem ko varnostna poravnava preprečuje puščanje gesla, ostajajo drugi osebni podatki ranljivi.
Kako lahko anonym.legal pomaga pri zaščiti pred napadi na zasebnost LLM?
anonym.legal zagotavlja pravo anonimizacijo z: (1) Zaznavanje PII - 285+ vrst entitet vključno z imena, lokacije, datumi, vzorci pisanja, (2) Zamenja - zamenja pravi PII z alternativami veljavnimi za format, (3) Redakcija - popolnoma odstrani občutljive podatke, (4) Reverzibilno šifriranje - AES-256-GCM za odobren dostop. Za razliko od psevdonimnosti, ki jo LLM premagajo, prava anonimizacija odstrani signale, ki jih LLM uporabljajo za deidentifikacijo.
Zaščitite se pred napadi na zasebnost LLM
Ne zanesljajte se na psevdonimnost. Uporabljajte pravo anonimizacijo za zaščito občutljivih dokumentov, podatkov uporabnikov in komunikacije pred napadi na identifikacijo na osnovi AI.