LLM Privacy Attack Research
12 ikerketa-artikulu berrikusiak AI-ren aurka sasi-anonimitatea zergatik huts egiten duen erakusten dutenak.
Deanonimizazioa, PII erauzketa, kide-inferentzia, prompt injekzio atakaak — eta nola babestu.
Privacy Ataka Kategoriak
Deanonimizazioa
LLMak anonimoak diren mezuak identitate errealak guztiz parekatzea idatzi estilo, fakt eta denborazko ereduen bitartez. %68ko zehaztasuna $1-$4/profilean.
Atributo Inferentzia
LLMak pertsona atributuak (kokapenua, diru-saila, adina) ondorioztatzen dituzte testuan agertzen ez direla ere. GPT-4k %85eko top-1 zehaztasuna lortzen du.
PII Erauzketa
Pertsona informazioa entrenatzeko daturaketa edo prompt-etatik erauztzea. %100eko e-posta erauzketa zehaztasuna GPT-4-rekin. 5× hansketa aurreratu atakaerrekin.
Prompt Injekzio
LLM agenteen manipulazioa zereginaren gauzapenean pertsona datuak isuzteko. ~%20ko ataka arrakasta tasa banku egoeretan.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Aurkikuntza Garrantzitsua
68% recall at 90% precision for deanonymization using ESRC framework
Metodologia
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC Framework
LLMak anonimoak diren mezuetatik identifikazioak erauzten dituzte
Faktuak datu publiko basean galdetzeko erabiltzen ditu (LinkedIn, etab.)
LLMak hautagaien partaideak ebaluatzen ditu
Konfiantza kalifikazioa faltsua positiboak minoratzeko
Esperimentuaren Emaitzak
| Dataset | Recall @ %90 Doitasun | Oharrak |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Ondorioak
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Ikerketa Artikulu Guztiak
11 ikerketa-artikulu gehiago LLM privacy atakaetaz
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Aurkikuntza Garrantzitsuak
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Aurkikuntza Garrantzitsuak
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Aurkikuntza Garrantzitsuak
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Aurkikuntza Garrantzitsuak
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Aurkikuntza Garrantzitsuak
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Aurkikuntza Garrantzitsuak
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Aurkikuntza Garrantzitsuak
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Aurkikuntza Garrantzitsuak
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Aurkikuntza Garrantzitsuak
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Aurkikuntza Garrantzitsuak
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Aurkikuntza Garrantzitsuak
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Ikerketa honetan Defensiboak Estrategiak
Zer ez du funtzionatzen
- ✗Sasi-anonimizazioa — LLMak erabiltzaile izenak, manipulazioak, bistaratze izenak gainditzen dituzte
- ✗Testua irudira konbertsioa — Multimodal LLMak aurka gutxiko enpresa
- ✗Eredu egokitzapena bakarrik — Inferentzia prebentziorako oraingoan ez oso eraginkorra
- ✗Anonimizazio sinplea testua — LLM arrazoitzera aurka ezpuzkoa
Zer funtzionatzen duen
- ✓Adversarial anonimizazioa — Inferentzia %66,3 → %45,3 murrizten du
- ✓Diferentzial pribatua — PII zehaztasun %33,86 → %9,37 murrizten du
- ✓Prompt injekzio defensa — LLM-en gainean PIE-ren kontra eraginkorrena
- ✓Benetako PII erauzketa/ordezkatua — LLMak erabiltzen dituzte sinalen ezabatzen du
Zergatik Garrantzitsua da Ikerketa hau
12 ikerketa-artikulu horiek pribatutasun-meazuen aldaketa oinarrizkoa erakusten dute. Anonimizazio tradizionala sasi-izenak, erabiltzaile izenak eta manipulazioa aldaketak bezalako LLM-etarako sarbidea duten helburu eraso kontra nahikoa ez diren babesa.
Meaza Neurri Garrantzitsuak
- %68ko deanonimizazio zehaztasuna %90 doitasunean (Hacker News → LinkedIn)
- %85eko atributo inferentzia zehaztasuna kokapenua, diru-saila, adina, enpresua adibidean
- %100eko e-posta erauzketa eta %98ko telefonoa zenbakia erauzketa (GPT-4)
- 5× hansketa PII isuztean sofistikatu multi-query atakaerrekin
- $1-$4 kostua profileko masiboak atakaak ekonomikoki bideragarriak egiten du
Nork Arrisku Dagoen
- Zaplatzaileak & aktivisteak: anonimoak mezuak erreala identitate lotuta egon daitezke
- Profesionalak: Reddit jarduera LinkedIn profileta lotuta
- Osasun pazienteak: Kide inferentzia daturak entrenatzean zeuden erakusten du
- Historia mezuak duten edonor: urteak daturak retroaktiboak deanonimiza egon daitezke
Nola anonym.legal Meaza horiek Helburu Egiten Dute
anonym.legal benetako anonimizazioa LLMak erabiltzen dituzte sinalen ezabatzean:
- 285+ Entitate Motak: Izenak, kokapenua, datak, denborazko markagailua, identifikadoreak
- Idatzi Eredu Eruztua: Stylometrik aurpegien erakusten duten testua ordezkatzen du
- Itzuli Daitekeen Enkriptazioa: AES-256-GCM baimendutako sarbidea behar duten kasuarentzat
- Bi Operadore: Ordezka, Redakta, Hash, Enkriptatu, Maskaratu, Pertsonalizatua
Maiz Egindako Galderak
Zer da LLM-en oinarritutako deanonimizazioa?
LLM-en oinarritutako deanonimizazioak hizkuntza-eredu handiak erabiltzen ditu anonimoak edo sasi-anonimoak diren online mezuetatik erreala indibidua identifikatzeko. Metodo tradizionalaren ez du neurrian, LLMak idatzi estilo analisia (stylometria), argitaratutako faktuak, denborazko ereduak eta testuingurua arrazoitzea konbina ditzake anonimoak profileak erreala identitate guztiz. Ikerketan %68ko akurasia (%90 doitasuna bueltan) ageri da, eta klasiko metodoentzat gertu %0 konparatua.
Nork zehatza da LLM deanonimizazioa?
Ikerketan alarma zehaztasun mailak erakusten ditu: %68 errekupera %90 doitasunean Hacker News LinkedIn partekakerako, %67 Reddit denborazko analisi (berdina erabiltzaile gaur egun), %35 internet-neurrian (1 M + hautagaia). Atributo inferentzia adibidean, GPT-4k %85eko top-1 zehaztasun ahotsean kokapenua, diru-saila, adina eta enpresua irudiak Reddit mezuetatik soilik ondoriozta.
Zer da ESRC framework?
ESRC (Erauzketa-Bilaketa-Arrazoitzea-Kalibratzea) da lau urratseko LLM deanonimizazio framework: (1) Erauzketa - LLMak anonimoak diren mezuetatik identifikazioak erauzten dituzte NLP erabiltzen, (2) Bilaketa - LinkedIn bezalako datu publikoan kontsulta erauzitako faktuak eta semantika inbertitzeak erabiliz, (3) Arrazoitzea - LLMak hautagaien partaideak ebaluatzen ditu kontsistentzia analisia, (4) Kalibratzea - konfiantza kalifikazioa faltsua positiboak minoratzeak eta egila parekak maximizatzeak.
Zenbat egoten da LLM deanonimizazioa?
Ikerketan LLM-en oinarritutako deanonimizazioak $1-$4 kostua profileko ageri da, masiboak deanonimizazioa ekonomikoki bideragarria egiten du. Defensiboak anonimizaziorako, kostuak zain $0,035 gutxiago komentario bakoitzeko GPT-4 erabiliz. Kosta baxua estatu egunak, korporazioak, persegitzaileak eta kaltegarri indibidua masiboak privacy atakaak egiteko baimendu egiten du.
Zer PII motak ditzake LLMak testutik erauztea?
LLMak ongi batzen dute: e-posta helbideak (%100 akurasia GPT-4erkin), telefonoa zenbakiak (%98), postaetako helbideak eta izenak. Batez ere ezplizitu ez diren PII ondoriozta ditzakete: kokapenua, diru-saila maila, adina, sexua, enpresua, hezkuntza, erlazioen egoera eta jaiotzaren tokia testua nolakoa eta idatzi ereduetatik.
Zer da kide inferentzia ataka (MIA)?
Kide inferentzia atakak zehaztu egiten dute spezifiko daturak IA eredu entrenatzean erabili ziren. LLMarentzat, hau erakusten du zeure pertsona informazioa entrenatzean dataset sartua zen. Ikerketan e-posta helbideak eta telefonoa zenbakiak bereziki baitako dituzte. Ataka bektore berriak dituzte tokenizer-en oinarritutako inferentzia eta atentsioa signala analisia (AttenMIA).
Nola atakaez prompt injekzioa pertsona datuak isuztea?
Prompt injekzio LLM agenteen manipulazioa zereginaren gauzapenean egiten duten pertsona datuak isuzteko. Banku ageente egoeretan, atakaak ~%20ko arrakasta tasa lortzen dute pertsona datuak erauztean, %15-%50eko erabilgarritasun degradazioa atakaren azpian. Segurtasun egokitzapeneak pasahitzaren isuztea prebentu egiten dute, bestelako pertsona datuak baitako geratu.
Nola lagundu dute anonym.legal LLM privacy atakaak babestu?
anonym.legal benetako anonimizazioa hornitzen du: (1) PII Detekzioa - 285+ entitate motak izenak, kokapenua, datak, idatzi ereduak barne, (2) Ordezkatua - benetako PII ordina formatua-balido alternatibarekin, (3) Redakta - erabat ezabatzen du sentigarri informazioa, (4) Itzuli Daitekeen Enkriptazioa - AES-256-GCM baimendutako sarbidentzat. Sasi-anonimizazioa ez bezala LLMak gainditzen dutena, benetako anonimizazioa LLMak deanonimizaziorako erabiltzen dituzte sinalen ezabatzen du.
Babestu LLM Privacy Ataketatik
Ez sartu sasi-anonimitate. Erabili benetako anonimizazioa sentigarri dokumentuak, erabiltzaile datuak eta komunikazioak AI-powered identifikazio atakaaktatik babestu.