Pesquisa de Ataques de Privacidade em LLM
12 artigos revistos por pares demonstrando por que a pseudonimidade falha contra IA.
Desanonimização, extração de PII, inferência de membros, ataques de injeção de prompt — e como se proteger contra eles.
Categorias de Ataques de Privacidade
Desanonimização
Os LLMs combinam publicações anônimas com identidades reais usando estilo de escrita, fatos e padrões temporais. 68% de precisão a $1-$4/perfil.
Inferência de Atributos
Os LLMs inferem atributos pessoais (localização, renda, idade) do texto mesmo quando não declarado. O GPT-4 atinge 85% de precisão top-1.
Extração de PII
Extrair informações pessoais de dados de treinamento ou prompts. 100% de precisão de extração de email com GPT-4. Aumento de 5× com ataques avançados.
Injeção de Prompt
Manipular agentes LLM para vazar dados pessoais durante execução de tarefas. Taxa de sucesso de ataque de ~20% em cenários bancários.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Descoberta Principal
68% recall at 90% precision for deanonymization using ESRC framework
Metodologia
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Framework ESRC
LLM extrai fatos identificáveis de publicações anônimas
Usa fatos para consultar bancos de dados públicos (LinkedIn, etc.)
LLM raciocina sobre correspondências de candidatos
Pontuação de confiança para minimizar falsos positivos
Resultados Experimentais
| Dataset | Recall @ 90% Precisão | Notas |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implicações
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Todos os Artigos de Pesquisa
11 estudos revistos por pares adicionais sobre ataques de privacidade em LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Descobertas Principais
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Descobertas Principais
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Descobertas Principais
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Descobertas Principais
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Descobertas Principais
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Descobertas Principais
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Descobertas Principais
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Descobertas Principais
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Descobertas Principais
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Descobertas Principais
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Descobertas Principais
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Estratégias de Defesa da Pesquisa
O Que Não Funciona
- ✗Pseudonimização — Os LLMs derrotam nomes de usuário, handles, nomes de exibição
- ✗Conversão texto-para-imagem — Apenas diminuição leve contra LLMs multimodais
- ✗Alinhamento de modelo sozinho — Atualmente ineficaz na prevenção de inferência
- ✗Anonimização de texto simples — Insuficiente contra raciocínio de LLM
O Que Funciona
- ✓Anonimização adversária — Reduz inferência de 66,3% para 45,3%
- ✓Privacidade diferencial — Reduz precisão de PII de 33,86% para 9,37%
- ✓Defesa de injeção de prompt — Mais eficaz contra PIE baseado em LLM
- ✓Remoção/substituição real de PII — Remove sinais que os LLMs usam
Por Que Esta Pesquisa É Importante
Esses 12 artigos de pesquisa demonstram uma mudança fundamental nas ameaças à privacidade. As abordagens tradicionais de anonimização como pseudônimos, nomes de usuário e mudanças de handle não são mais proteção suficiente contra adversários determinados com acesso a LLMs.
Métricas Principais de Ameaça
- 68% de precisão de desanonimização a 90% de precisão (Hacker News → LinkedIn)
- 85% de precisão de inferência de atributo para localização, renda, idade, ocupação
- 100% de extração de email e 98% de extração de número de telefone (GPT-4)
- Aumento de 5× em vazamento de PII com ataques multi-consulta sofisticados
- Custo de $1-$4 por perfil torna ataques em massa economicamente viáveis
Quem Está em Risco
- Denunciantes e ativistas: publicações anônimas podem ser vinculadas a identidades reais
- Profissionais: atividade do Reddit vinculada a perfis do LinkedIn
- Pacientes de saúde: inferência de membros revela se os dados estavam no treinamento
- Qualquer pessoa com publicações históricas: anos de dados podem ser desanonimizados retroativamente
Como anonym.legal Aborda Essas Ameaças
anonym.legal fornece verdadeira anonimização que remove os sinais que os LLMs usam:
- 285+ Tipos de Entidade: Nomes, localizações, datas, marcadores temporais, identificadores
- Disrupção de Padrão de Escrita: Substitui texto que revela impressões digitais estilométricas
- Criptografia Reversível: AES-256-GCM para casos que requerem acesso autorizado
- Múltiplos Operadores: Substituir, Redactar, Hash, Criptografar, Mascarar, Personalizado
Perguntas Frequentes
O que é desanonimização baseada em LLM?
A desanonimização baseada em LLM usa grandes modelos de linguagem para identificar indivíduos reais a partir de publicações online anônimas ou pseudônimas. Ao contrário dos métodos tradicionais que falham em escala, os LLMs podem combinar análise de estilo de escrita (estilometria), fatos declarados, padrões temporais e raciocínio contextual para combinar perfis anônimos com identidades reais. A pesquisa mostra até 68% de precisão a 90% de precisão, comparado com quase 0% para métodos clássicos.
Quão precisa é a desanonimização por LLM?
A pesquisa demonstra níveis de precisão alarmantes: 68% de recall a 90% de precisão para correspondência de Hacker News para LinkedIn, 67% para análise temporal do Reddit (mesmo usuário ao longo do tempo), 35% em escala de internet (1M+ candidatos). Para inferência de atributos, o GPT-4 atinge 85% de precisão top-1 inferindo atributos pessoais como localização, renda, idade e ocupação apenas de publicações do Reddit.
O que é o framework ESRC?
ESRC (Extract-Search-Reason-Calibrate) é um framework de desanonimização LLM de quatro etapas: (1) Extrair - LLM extrai fatos identificáveis de publicações anônimas usando NLP, (2) Procurar - consulta bancos de dados públicos como LinkedIn usando fatos extraídos e embeddings semânticos, (3) Raciocinar - LLM raciocina sobre correspondências de candidatos analisando consistência, (4) Calibrar - pontuação de confiança para minimizar falsos positivos enquanto maximiza correspondências verdadeiras.
Quanto custa a desanonimização por LLM?
A pesquisa mostra que a desanonimização baseada em LLM custa $1-$4 por perfil, tornando a desanonimização em massa economicamente viável. Para anonimização defensiva, os custos são inferiores a $0,035 por comentário usando GPT-4. Este custo baixo permite que atores estatais, corporações, perseguidores e indivíduos maliciosos realizem ataques de privacidade em larga escala.
Que tipos de PII os LLMs podem extrair de texto?
Os LLMs se destacam em extrair: endereços de email (precisão de 100% com GPT-4), números de telefone (98%), endereços postais e nomes. Eles também podem inferir PII não explícito: localização, nível de renda, idade, sexo, ocupação, educação, estado civil e local de nascimento a partir de pistas textuais sutis e padrões de escrita.
O que é um ataque de inferência de membros (MIA)?
Ataques de inferência de membros determinam se dados específicos foram usados para treinar um modelo de IA. Para LLMs, isso revela se suas informações pessoais estavam no conjunto de dados de treinamento. A pesquisa mostra que endereços de email e números de telefone são particularmente vulneráveis. Novos vetores de ataque incluem inferência baseada em tokenizer e análise de sinais de atenção (AttenMIA).
Como os ataques de injeção de prompt vazam dados pessoais?
A injeção de prompt manipula agentes LLM para vazar dados pessoais observados durante execução de tarefas. Em cenários de agentes bancários, os ataques alcançam uma taxa de sucesso de ~20% na exfiltração de dados pessoais, com degradação de utilidade de 15-50% sob ataque. Enquanto os alinhamentos de segurança impedem o vazamento de senhas, outros dados pessoais permanecem vulneráveis.
Como anonym.legal pode ajudar a proteger contra ataques de privacidade em LLM?
anonym.legal fornece verdadeira anonimização através de: (1) Detecção de PII - 285+ tipos de entidade incluindo nomes, localizações, datas, padrões de escrita, (2) Substituição - substitui PII real com alternativas válidas em formato, (3) Redação - remove completamente informações sensíveis, (4) Criptografia Reversível - AES-256-GCM para acesso autorizado. Ao contrário da pseudonimização que os LLMs derrotam, a verdadeira anonimização remove os sinais que os LLMs usam para desanonimização.
Proteja-se Contra Ataques de Privacidade em LLM
Não confie em pseudonimidade. Use verdadeira anonimização para proteger documentos sensíveis, dados de usuários e comunicações contra ataques de identificação alimentados por IA.