Ricerca su Attacchi alla Privacy dei LLM
12 articoli di ricerca sottoposti a peer review che dimostrano perché la pseudonimia fallisce contro l'IA.
Deanonimizzazione, estrazione di PII, attacchi di inferenza di appartenenza, iniezione di prompt — e come proteggersi.
Categorie di Attacchi alla Privacy
Deanonimizzazione
I LLM associano i post anonimi alle identità reali utilizzando lo stile di scrittura, i fatti e i modelli temporali. Precisione del 68% a €1-€4 per profilo.
Inferenza di Attributi
I LLM deducono gli attributi personali (ubicazione, reddito, età) dal testo anche quando non dichiarati. GPT-4 raggiunge il 85% di precisione top-1.
Estrazione di PII
Estrazione di informazioni personali dai dati di addestramento o dai prompt. Precisione del 100% nell'estrazione di email con GPT-4. Aumento di 5× con attacchi avanzati.
Iniezione di Prompt
Manipolazione degli agenti LLM per far trapelare dati personali durante l'esecuzione dei compiti. ~20% di tasso di successo dell'attacco negli scenari bancari.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Scoperta Principale
68% recall at 90% precision for deanonymization using ESRC framework
Metodologia
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Framework ESRC
L'LLM estrae fatti identificativi dai post anonimi
Utilizza fatti per interrogare database pubblici (LinkedIn, ecc.)
L'LLM ragiona sui candidati corrispondenti
Punteggio di confidenza per minimizzare i falsi positivi
Risultati Sperimentali
| Dataset | Recall @ 90% Precisione | Note |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implicazioni
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Tutti gli Articoli di Ricerca
11 studi peer-reviewed aggiuntivi su attacchi alla privacy dei LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Scoperte Principali
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Scoperte Principali
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Scoperte Principali
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Scoperte Principali
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Scoperte Principali
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Scoperte Principali
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Scoperte Principali
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Scoperte Principali
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Scoperte Principali
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Scoperte Principali
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Scoperte Principali
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Strategie di Difesa dalla Ricerca
Cosa Non Funziona
- ✗Pseudonimia — I LLM sconfiggono nomi utente, nickname, nomi visualizzati
- ✗Conversione da testo a immagine — Solo leggera diminuzione contro i LLM multimodali
- ✗Allineamento del modello da solo — Attualmente inefficace nel prevenire l'inferenza
- ✗Anonimizzazione di testo semplice — Insufficiente contro il ragionamento dei LLM
Cosa Funziona
- ✓Anonimizzazione avversariale — Riduce l'inferenza da 66,3% a 45,3%
- ✓Privacy differenziale — Riduce la precisione del PII da 33,86% a 9,37%
- ✓Difesa dall'iniezione di prompt — La più efficace contro l'estrazione di PII basata su LLM
- ✓Vera rimozione/sostituzione del PII — Rimuove i segnali utilizzati dai LLM
Perché Questa Ricerca è Importante
Questi 12 articoli di ricerca dimostrano un cambiamento fondamentale nelle minacce alla privacy. Gli approcci tradizionali di anonimizzazione come pseudonimi, nomi utente e cambio di nickname non forniscono più una protezione sufficiente contro gli avversari determinati che hanno accesso ai LLM.
Metriche di Minaccia Chiave
- Precisione della deanonimizzazione del 68% al 90% di precisione (Hacker News → LinkedIn)
- Precisione dell'inferenza di attributi dell'85% per ubicazione, reddito, età, occupazione
- Estrazione email 100% e estrazione numero di telefono 98% (GPT-4)
- Aumento di 5× nella perdita di PII con attacchi sofisticati multi-query
- Costo di €1-€4 per profilo rende gli attacchi di massa economicamente fattibili
Chi è a Rischio
- Denuncianti e attivisti: I post anonimi possono essere collegati alle identità reali
- Professionisti: L'attività su Reddit può essere collegata ai profili LinkedIn
- Pazienti sanitari: L'inferenza di appartenenza rivela se i dati erano nell'addestramento
- Chiunque con post storici: Anni di dati possono essere retroattivamente deanonimizzati
Come anonym.legal Affronta Queste Minacce
anonym.legal fornisce vera anonimizzazione che rimuove i segnali utilizzati dai LLM:
- 285+ Tipi di Entità: Nomi, ubicazioni, date, marcatori temporali, identificatori
- Disruption del Modello di Scrittura: Sostituisce il testo che rivela impronte stilometriche
- Crittografia Reversibile: AES-256-GCM per i casi che richiedono accesso autorizzato
- Più Operatori: Sostituisci, Redigi, Hash, Crittografa, Maschera, Personalizzato
Domande Frequenti
Cos'è la deanonimizzazione basata su LLM?
La deanonimizzazione basata su LLM utilizza grandi modelli linguistici per identificare individui reali da post online anonimi o pseudonimi. A differenza dei metodi tradizionali che falliscono su larga scala, i LLM possono combinare l'analisi dello stile di scrittura (stilometria), fatti dichiarati, modelli temporali e ragionamento contestuale per associare profili anonimi alle identità reali. La ricerca mostra una precisione fino al 68% al 90% di precisione, rispetto a quasi 0% per i metodi classici.
Quanto è accurata la deanonimizzazione dei LLM?
La ricerca dimostra livelli di accuratezza allarmanti: 68% recall al 90% di precisione per l'abbinamento da Hacker News a LinkedIn, 67% per l'analisi temporale di Reddit (stesso utente nel tempo), 35% su scala Internet (1M+ candidati). Per l'inferenza di attributi, GPT-4 raggiunge il 85% di precisione top-1 nel dedurre attributi personali come ubicazione, reddito, età e occupazione solo da post Reddit.
Cos'è il framework ESRC?
ESRC (Extract-Search-Reason-Calibrate) è un framework di deanonimizzazione LLM a quattro fasi: (1) Estrai - l'LLM estrae fatti identificativi dai post anonimi utilizzando NLP, (2) Ricerca - interroga database pubblici come LinkedIn utilizzando fatti estratti e embeddings semantici, (3) Ragionamento - l'LLM ragiona sui candidati corrispondenti analizzando la coerenza, (4) Calibra - punteggio di confidenza per minimizzare i falsi positivi massimizzando i veri positivi.
Quanto costa la deanonimizzazione basata su LLM?
La ricerca mostra che la deanonimizzazione basata su LLM costa €1-€4 per profilo, rendendo la deanonimizzazione di massa economicamente fattibile. Per l'anonimizzazione difensiva, i costi sono inferiori a €0,035 per commento utilizzando GPT-4. Questo basso costo consente ai cattivi attori di Stato, alle corporazioni, ai persecutori e agli individui malintenzionati di eseguire attacchi alla privacy su larga scala.
Quali tipi di PII possono estrarre i LLM dal testo?
I LLM eccellono nell'estrazione di: indirizzi email (100% di precisione con GPT-4), numeri di telefono (98%), indirizzi postali e nomi. Possono anche dedurre PII non esplicito: ubicazione, livello di reddito, età, sesso, occupazione, istruzione, stato civile e luogo di nascita da indizi testuali sottili e modelli di scrittura.
Cos'è un attacco di inferenza di appartenenza (MIA)?
Gli attacchi di inferenza di appartenenza determinano se dati specifici sono stati utilizzati per addestrare un modello di IA. Per i LLM, questo rivela se le tue informazioni personali erano nel dataset di addestramento. La ricerca mostra che i numeri di telefono e gli indirizzi email sono particolarmente vulnerabili. I nuovi vettori di attacco includono l'inferenza basata su tokenizzatore e l'analisi dei segnali di attenzione (AttenMIA).
Come gli attacchi di iniezione di prompt fanno trapelare dati personali?
L'iniezione di prompt manipola gli agenti LLM per far trapelare dati personali osservati durante l'esecuzione dei compiti. Negli scenari di agenti bancari, gli attacchi raggiungono ~20% di tasso di successo nell'esfiltrare dati personali, con degradazione dell'utilità dal 15% al 50% sotto attacco. Mentre gli allineamenti di sicurezza impediscono la perdita di password, altri dati personali rimangono vulnerabili.
Come anonym.legal può aiutare a proteggersi dagli attacchi alla privacy dei LLM?
anonym.legal fornisce vera anonimizzazione attraverso: (1) Rilevamento PII - 285+ tipi di entità inclusi nomi, ubicazioni, date, modelli di scrittura, (2) Sostituzione - sostituisce il vero PII con alternative valide nel formato, (3) Redazione - rimuove completamente le informazioni sensibili, (4) Crittografia Reversibile - AES-256-GCM per accesso autorizzato. A differenza della pseudonimia che i LLM sconfiggono, la vera anonimizzazione rimuove i segnali che i LLM utilizzano per la deanonimizzazione.
Proteggersi dagli Attacchi alla Privacy dei LLM
Non fare affidamento sulla pseudonimia. Usa la vera anonimizzazione per proteggere documenti sensibili, dati degli utenti e comunicazioni da attacchi di identificazione alimentati dall'IA.