Recerca d'Atacs de Privacitat d'LLM
12 articles de recerca revisats per experts que demostren per què la pseudonimitat falla contra la IA.
Deanonimització, extracció de PII, inferència de pertinença, atacs d'injecció de prompts — i com protegir-se contra ells.
Categories d'Atacs de Privacitat
Deanonimització
Els LLMs empareyen posts anònims amb identitats reals utilitzant estil d'escriptura, fets i patrons temporals. Precisió del 68% a 1-4 $/perfil.
Inferència d'Atributs
Els LLMs infereixen atributs personals (ubicació, ingressos, edat) a partir de text fins i tot quan no es declaren explícitament. GPT-4 assoleix una precisió top-1 del 85%.
Extracció de PII
Extracció d'informació personal a partir de dades d'entrenament o prompts. Precisió del 100% en l'extracció de correus electrònics amb GPT-4. Augment de 5× amb atacs avançats.
Injecció de Prompts
Manipulació d'agents LLM per fer que divulgin dades personals durant l'execució de tasques. Taxa d'èxit d'atac de ~20% en escenaris bancaris.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Descoberta Principal
68% recall at 90% precision for deanonymization using ESRC framework
Metodologia
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Marc ESRC
L'LLM extreu fets identificatius de posts anònims
Utilitza fets per consultar bases de dades públiques (LinkedIn, etc.)
L'LLM raona sobre coincidències de candidats
Puntuació de confiança per minimitzar falsos positius
Resultats Experimentals
| Conjunt de Dades | Recuperació @ 90% Precisió | Notes |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implicacions
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Tots els Articles de Recerca
11 estudis revisat per experts addicionals sobre atacs de privacitat d'LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Descobertes Principals
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Descobertes Principals
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Descobertes Principals
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Descobertes Principals
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Descobertes Principals
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Descobertes Principals
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Descobertes Principals
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Descobertes Principals
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Descobertes Principals
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Descobertes Principals
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Descobertes Principals
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Estratègies de Defensa de la Recerca
Què No Funciona
- ✗Pseudonimització — Els LLMs derrotan noms d'usuari, identificadors, noms de visualització
- ✗Conversió de text a imatge — Disminució lleu només contra LLMs multimodals
- ✗Alineació del model sola — Actualment inefectiva per prevenir inferències
- ✗Anonimització de text simple — Insuficient contra el raonament d'LLM
Què Funciona
- ✓Anonimització adversarial — Redueix inferència 66.3% → 45.3%
- ✓Privacitat diferencial — Redueix precisió de PII 33.86% → 9.37%
- ✓Defensa contra injecció de prompts — Més efectiva contra PIE basada en LLM
- ✓Vertadera eliminació/substitució de PII — Elimina senyals que els LLMs utilitzen
Per Què Aquesta Recerca és Important
Aquests 12 articles de recerca demostren un canvi fonamental en les amenaces de privacitat. Els enfocaments tradicionals d'anonimització com pseudònims, noms d'usuari i canvis d'identificadors ja no són protecció suficient contra adversaris determinats amb accés a LLMs.
Mètriques de Risc Principal
- Precisió de deanonimització del 68% al 90% de precisió (Hacker News → LinkedIn)
- Precisió d'inferència d'atributs del 85% per ubicació, ingressos, edat, ocupació
- Extracció de correus electrònics del 100% i extracció de números de telèfon del 98% (GPT-4)
- Augment de 5× en la fuga de PII amb atacs sofisticats de múltiples consultes
- Cost de 1-4 $/perfil fa que els atacs en massa siguin econòmicament factibles
Qui Està en Risc
- Denunciants i activistes: Els posts anònims es poden vincular a identitats reals
- Professionals: L'activitat de Reddit es vincula als perfils de LinkedIn
- Pacients de sanitari: La inferència de pertinença revela si les dades van ser en l'entrenament
- Qualsevol amb posts històrics: Els anys de dades es poden deanonimitzar retroactivament
Com anonym.legal Aborda aquestes Amenaces
anonym.legal proporciona vertadera anonimització que elimina els senyals que els LLMs utilitzen:
- 285+ Tipus d'Entitats: Noms, ubicacions, dates, marcadors temporals, identificadors
- Disrupció de Patrons d'Escriptura: Substitueix text que revela empremtes estilomètriques
- Encriptació Reversible: AES-256-GCM per a casos que requereixen accés autoritzat
- Múltiples Operadors: Substituir, Redactar, Hash, Encriptar, Enmascarar, Personalitzat
Preguntes Freqüents
Què és la deanonimització basada en LLM?
La deanonimització basada en LLM utilitza models de llenguatge gran per identificar individuals reals a partir de posts anònims o pseudònims en línia. A diferència dels mètodes tradicionals que fallen a escala, els LLMs poden combinar anàlisi d'estil d'escriptura (estilometria), fets declarats, patrons temporals i raonament contextual per emparejar perfils anònims amb identitats reals. La recerca mostra fins a un 68% de precisió al 90% de precisió, en comparació amb gairebé 0% per a mètodes clàssics.
Quina precisió té la deanonimització basada en LLM?
La recerca demostra nivells d'exactitud alarmants: 68% de recuperació al 90% de precisió per a coincidències de Hacker News a LinkedIn, 67% per a anàlisi temporal de Reddit (mateix usuari al llarg del temps), 35% a escala d'internet (1M+ candidats). Per a inferència d'atributs, GPT-4 assoleix una precisió top-1 del 85% inferint atributs personals com ubicació, ingressos, edat i ocupació només a partir de posts de Reddit.
Què és el marc ESRC?
ESRC (Extract-Search-Reason-Calibrate) és un marc de deanonimització d'LLM de quatre passos: (1) Extreure - L'LLM extreu fets identificatius de posts anònims utilitzant PNL, (2) Cercar - Consulta bases de dades públiques com LinkedIn utilitzant fets extrets i incrustacions semàntiques, (3) Raonar - L'LLM raona sobre coincidències de candidats analitzant coherència, (4) Calibrar - Puntuació de confiança per minimitzar falsos positius maximitzant coincidències verdaderes.
Quant costa la deanonimització basada en LLM?
La recerca mostra que la deanonimització basada en LLM costa 1-4 $/perfil, fent que la deanonimització en massa sigui econòmicament factible. Per a anonimització defensiva, els costos són inferiors a 0,035 $/comentari utilitzant GPT-4. Aquest cost baix permet als actors estatals, corporacions, acosadores i individus maliciosos realitzar atacs de privacitat a gran escala.
Quins tipus de PII poden extreure els LLMs del text?
Els LLMs excel·leixen en l'extracció de: adreces de correu electrònic (100% de precisió amb GPT-4), números de telèfon (98%), adreces de correu, i noms. Also can infer non-explicit PII: ubicació, nivell d'ingressos, edat, sexe, ocupació, educació, estat de relació i lloc de naixement a partir de pistes textuals subtils i patrons d'escriptura.
Què és un atac d'inferència de pertinença (MIA)?
Els atacs d'inferència de pertinença determinen si dades específiques es van utilitzar per entrenar un model d'IA. Per a LLMs, això revela si la vostra informació personal estava en el conjunt de dades d'entrenament. La recerca mostra que les adreces de correu electrònic i els números de telèfon són particularment vulnerables. Els nous vectors d'atac inclouen inferència basada en tokenitzador i anàlisi de senyals d'atenció (AttenMIA).
Com els atacs d'injecció de prompts filtren dades personals?
La injecció de prompts manipula agents d'LLM per filtrar dades personals observades durant l'execució de tasques. En escenaris d'agent bancari, els atacs assoleixen una taxa d'èxit de ~20% en l'exfiltració de dades personals, amb degradació d'utilitat del 15-50% sota atac. Si bé les alineacions de seguretat prevenen la fuita de contrasenyes, altres dades personals romanen vulnerables.
Com anonym.legal pot ajudar a protegir contra atacs de privacitat d'LLM?
anonym.legal proporciona vertadera anonimització a través de: (1) Detecció de PII - 285+ tipus d'entitats inclosos noms, ubicacions, dates, patrons d'escriptura, (2) Substitució - Substitueix PII real amb alternatives vàlides per format, (3) Redacció - Elimina completament informació sensible, (4) Encriptació Reversible - AES-256-GCM per a accés autoritzat. A diferència de la pseudonimització que els LLMs derroten, la vertadera anonimització elimina els senyals que els LLMs utilitzen per a deanonimització.
Protegeix-te contra Atacs de Privacitat d'LLM
No es fiis en la pseudonimitat. Utilitza vertadera anonimització per protegir documents sensibles, dades d'usuaris i comunicacions contra atacs d'identificació impulsats per IA.