Investigación de Ataques de Privacidad de LLM
12 documentos de investigación revisados por pares que demuestran por qué la pseudonimia fracasa contra la IA.
Desanonimización, extracción de PII, inferencia de membresía, ataques de inyección de prompts — y cómo protegerse contra ellos.
Categorías de Ataques de Privacidad
Desanonimización
Los LLMs emparejan publicaciones anónimas con identidades reales usando estilo de escritura, hechos y patrones temporales. 68% de precisión a $1-$4/perfil.
Inferencia de Atributos
Los LLMs infieren atributos personales (ubicación, ingresos, edad) del texto incluso cuando no se declaran. GPT-4 logra 85% de precisión top-1.
Extracción de PII
Extracción de información personal de datos de entrenamiento o prompts. 100% de precisión de extracción de email con GPT-4. Aumento de 5× con ataques avanzados.
Inyección de Prompts
Manipulación de agentes LLM para filtrar datos personales durante la ejecución de tareas. ~20% de tasa de éxito de ataque en escenarios bancarios.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Hallazgo Clave
68% recall at 90% precision for deanonymization using ESRC framework
Metodología
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Marco ESRC
El LLM extrae hechos identificativos de publicaciones anónimas
Usa hechos para consultar bases de datos públicas (LinkedIn, etc.)
El LLM razona sobre coincidencias candidatas
Puntuación de confianza para minimizar falsos positivos
Resultados Experimentales
| Conjunto de Datos | Recall @ 90% Precisión | Notas |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implicaciones
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Todos los Documentos de Investigación
11 estudios adicionales revisados por pares sobre ataques de privacidad de LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Hallazgos Clave
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Hallazgos Clave
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Hallazgos Clave
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Hallazgos Clave
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Hallazgos Clave
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Hallazgos Clave
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Hallazgos Clave
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Hallazgos Clave
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Hallazgos Clave
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Hallazgos Clave
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Hallazgos Clave
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Estrategias de Defensa Basadas en Investigación
Lo Que No Funciona
- ✗Pseudonimización — Los LLMs vencen nombres de usuario, handles, nombres de pantalla
- ✗Conversión texto a imagen — Solo leve disminución contra LLMs multimodales
- ✗Alineación del modelo sola — Actualmente ineficaz para prevenir inferencia
- ✗Anonimización de texto simple — Insuficiente contra razonamiento LLM
Lo Que Funciona
- ✓Anonimización adversarial — Reduce inferencia 66.3% → 45.3%
- ✓Privacidad diferencial — Reduce precisión de PII 33.86% → 9.37%
- ✓Defensa contra inyección de prompts — Más efectiva contra PIE basada en LLM
- ✓Eliminación/Reemplazo real de PII — Elimina señales que usan los LLMs
Por Qué Esta Investigación Importa
Estos 12 documentos de investigación demuestran un cambio fundamental en las amenazas de privacidad. Los enfoques tradicionales de anonimización como pseudónimos, nombres de usuario y cambios de handles ya no son protección suficiente contra adversarios determinados con acceso a LLMs.
Métricas de Amenaza Clave
- 68% de precisión de desanonimización al 90% de precisión (Hacker News → LinkedIn)
- 85% de precisión de inferencia de atributos para ubicación, ingresos, edad, ocupación
- 100% de extracción de email y 98% de extracción de número de teléfono (GPT-4)
- Aumento de 5× en filtración de PII con ataques sofisticados de múltiples consultas
- Costo de $1-$4 por perfil hace que los ataques masivos sean económicamente viables
Quién Está en Riesgo
- Denunciantes y activistas: Las publicaciones anónimas pueden vincularse a identidades reales
- Profesionales: Actividad de Reddit vinculada a perfiles de LinkedIn
- Pacientes de salud: La inferencia de membresía revela si los datos estaban en el entrenamiento
- Cualquiera con publicaciones históricas: Años de datos pueden ser desanonimizados retroactivamente
Cómo anonym.legal Aborda Estas Amenazas
anonym.legal proporciona anonimización real que elimina las señales que usan los LLMs:
- 285+ Tipos de Entidad: Nombres, ubicaciones, fechas, marcadores temporales, identificadores
- Interrupción de Patrón de Escritura: Reemplaza texto que revela huellas estilométricas
- Encriptación Reversible: AES-256-GCM para casos que requieren acceso autorizado
- Múltiples Operadores: Reemplazar, Redactar, Hash, Encriptar, Enmascarar, Personalizado
Preguntas Frecuentes
¿Qué es la desanonimización basada en LLM?
La desanonimización basada en LLM utiliza modelos de lenguaje grandes para identificar individuos reales a partir de publicaciones en línea anónimas o pseudónimas. A diferencia de los métodos tradicionales que fallan a escala, los LLMs pueden combinar análisis de estilo de escritura (estilometría), hechos declarados, patrones temporales y razonamiento contextual para emparejar perfiles anónimos con identidades reales. La investigación muestra hasta 68% de precisión al 90% de precisión, comparado con cerca de 0% para métodos clásicos.
¿Qué tan precisa es la desanonimización por LLM?
La investigación demuestra niveles de precisión alarmantes: 68% de recall al 90% de precisión para emparejamiento de Hacker News a LinkedIn, 67% para análisis temporal de Reddit (mismo usuario a lo largo del tiempo), 35% a escala de internet (1M+ candidatos). Para inferencia de atributos, GPT-4 logra 85% de precisión top-1 infiriendo atributos personales como ubicación, ingresos, edad y ocupación solo de publicaciones de Reddit.
¿Qué es el marco ESRC?
ESRC (Extract-Search-Reason-Calibrate) es un marco de desanonimización LLM de cuatro pasos: (1) Extract - LLM extrae hechos identificativos de publicaciones anónimas usando NLP, (2) Search - consulta bases de datos públicas como LinkedIn usando hechos extraídos y embeddings semánticos, (3) Reason - LLM razona sobre coincidencias candidatas analizando consistencia, (4) Calibrate - puntuación de confianza para minimizar falsos positivos mientras maximiza coincidencias verdaderas.
¿Cuánto cuesta la desanonimización por LLM?
La investigación muestra que la desanonimización basada en LLM cuesta $1-$4 por perfil, haciendo la desanonimización masiva económicamente viable. Para anonimización defensiva, los costos son menos de $0.035 por comentario usando GPT-4. Este bajo costo permite a actores estatales, corporaciones, acosadores e individuos maliciosos realizar ataques de privacidad a gran escala.
¿Qué tipos de PII pueden extraer los LLMs del texto?
Los LLMs sobresalen en extraer: direcciones de correo electrónico (100% de precisión con GPT-4), números de teléfono (98%), direcciones postales y nombres. También pueden inferir PII no explícito: ubicación, nivel de ingresos, edad, sexo, ocupación, educación, estado civil y lugar de nacimiento a partir de indicios textuales sutiles y patrones de escritura.
¿Qué es un ataque de inferencia de membresía (MIA)?
Los ataques de inferencia de membresía determinan si datos específicos se usaron para entrenar un modelo de IA. Para los LLMs, esto revela si su información personal estaba en el conjunto de datos de entrenamiento. La investigación muestra que las direcciones de correo electrónico y los números de teléfono son particularmente vulnerables. Los nuevos vectores de ataque incluyen inferencia basada en tokenizador y análisis de señales de atención (AttenMIA).
¿Cómo los ataques de inyección de prompts filtran datos personales?
La inyección de prompts manipula agentes LLM para filtrar datos personales observados durante la ejecución de tareas. En escenarios de agentes bancarios, los ataques logran ~20% de tasa de éxito al exfiltrar datos personales, con 15-50% de degradación de utilidad bajo ataque. Mientras que los alineamientos de seguridad previenen filtraciones de contraseñas, otros datos personales permanecen vulnerables.
¿Cómo puede anonym.legal ayudar a proteger contra ataques de privacidad de LLM?
anonym.legal proporciona anonimización real a través de: (1) Detección de PII - 285+ tipos de entidad incluyendo nombres, ubicaciones, fechas, patrones de escritura, (2) Reemplazo - sustituye PII real con alternativas válidas en formato, (3) Redacción - elimina completamente información sensible, (4) Encriptación Reversible - AES-256-GCM para acceso autorizado. A diferencia de la pseudonimización que los LLMs vencen, la anonimización real elimina las señales que los LLMs usan para desanonimización.
Protégete Contra Ataques de Privacidad de LLM
No confíes en la pseudonimia. Usa anonimización real para proteger documentos sensibles, datos de usuario y comunicaciones de ataques de identificación impulsados por IA.