Cercetări de atac privat LLM
12 lucrări de cercetare evaluate de colegi demonstrând de ce pseudonimitatea eșuează împotriva AI.
Deanonimizare, extracție PII, inferență de membri, atacuri de injecție de prompt — și cum să vă protejați.
Categorii de atacuri de confidențialitate
Deanonimizare
LLM-urile potrivesc postări anonime cu identități reale folosind stil de scriere, fapte și modele temporale. Acuratețe 68% la $1-$4/profil.
Inferență de atribute
LLM-urile deduc atributele personale (locație, venit, vârstă) din text chiar și atunci când nu sunt declarate. GPT-4 realizează o acuratețe top-1 de 85%.
Extracție PII
Extragerea informațiilor personale din datele de antrenament sau solicitări. Acuratețe 100% în extracție de e-mail cu GPT-4. Creștere 5× cu atacuri avansate.
Injecție de prompt
Manipularea agenților LLM pentru a scurge date personale în timpul execuției sarcinilor. Aproximativ 20% rata de succes a atacului în scenarii bancare.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Constatare cheie
68% recall at 90% precision for deanonymization using ESRC framework
Metodologie
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Cadru ESRC
LLM extrage fapte identificatoare din postări anonime
Folosește fapte pentru a interoga baze de date publice (LinkedIn, etc.)
LLM raționează despre potriviri candidate
Notare de încredere pentru a minimiza fals pozitivii
Rezultate experimentale
| Seturi de date | Recuperare @ 90% precizie | Note |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implicații
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Toate lucrările de cercetare
11 studii suplimentare evaluate de colegi asupra atacurilor de confidențialitate LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, și alții (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Constatări cheie
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, și alții (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Constatări cheie
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, și alții (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Constatări cheie
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, și alții (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Constatări cheie
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Constatări cheie
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, și alții (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Constatări cheie
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, și alții (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Constatări cheie
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, și alții (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Constatări cheie
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Constatări cheie
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Constatări cheie
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Constatări cheie
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Strategii de apărare din cercetare
Ce nu funcționează
- ✗Pseudonimizare — LLM-urile învinge numere de utilizator, mânere, nume afișate
- ✗Conversie text-imagine — Doar ușoară scădere împotriva LLM-urilor multimodale
- ✗Aliniere model doar — Actualmente ineficace în prevenirea inferenței
- ✗Anonimizare text simplă — Insuficientă împotriva raționamentului LLM
Ce funcționează
- ✓Anonimizare adversarială — Reduce inferență 66,3% → 45,3%
- ✓Confidențialitate diferențială — Reduce precizie PII 33,86% → 9,37%
- ✓Apărare injecție prompt — Cea mai eficace împotriva PIE pe bază LLM
- ✓Adevărată eliminare/înlocuire PII — Elimină semnale pe care le folosesc LLM-urile
De ce contează această cercetare
Aceste 12 lucrări de cercetare demonstrează o schimbare fundamentală în amenințările la confidențialitate. Abordări tradiționale de anonimizare cum ar fi pseudonimele, numere de utilizator și schimbări de mânere nu mai sunt protecție suficientă împotriva adversarilor determinați cu acces la LLM-uri.
Metrici-cheie de amenințare
- Acuratețe deanonimizare 68% la 90% precizie (Hacker News → LinkedIn)
- Acuratețe inferență atribute 85% pentru locație, venit, vârstă, ocupație
- Extracție e-mail 100% și extracție număr telefon 98% (GPT-4)
- Creștere 5× în scurgerea PII cu atacuri multi-interogare sofisticate
- Cost $1-$4 pe profil face atacurile în masă din punct de vedere economic fezabile
Cine este la risc
- Denunțători și activiști: Postările anonime pot fi legate de identități reale
- Profesioniști: Activitatea Reddit legată de profiluri LinkedIn
- Pacienți din domeniul sănătății: Inferența de membri dezvăluie dacă datele au fost în antrenament
- Oricine are postări istorice: Ani de date pot fi retroactiv deanonimizate
Cum se adresează anonym.legal acestor amenințări
anonym.legal oferă adevărată anonimizare care elimină semnalele pe care le folosesc LLM-urile:
- 285+ tipuri de entități: Nume, locații, date, markeri temporali, identificatori
- Disrupție tipar de scriere: Înlocuiește textul care dezvăluie amprente stilometrice
- Criptare reversibilă: AES-256-GCM pentru cazuri care necesită acces autorizat
- Operatori multipli: Înlocuire, redactare, hash, criptare, mască, personalizată
Întrebări frecvente
Ce este deanonimizarea pe bază LLM?
Deanonimizarea pe bază LLM folosește modele lingvistice mari pentru a identifica indivizi reali din postări online anonime sau pseudonime. Spre deosebire de metodele tradiționale care eșuează la scară, LLM-urile pot combina analiza stilului de scriere (stilometrie), fapte declarate, modele temporale și raționament contextual pentru a potrivi profiluri anonime cu identități reale. Cercetarea arată o acuratețe de până la 68% la 90% precizie, comparativ cu aproape 0% pentru metodele clasice.
Cât de precisă este deanonimizarea LLM?
Cercetarea demonstrează niveluri alarmante de acuratețe: recuperare 68% la 90% precizie pentru potrivire Hacker News cu LinkedIn, 67% pentru analiză temporală Reddit (același utilizator în timp), 35% la scară internet (1M+ candidați). Pentru inferență de atribute, GPT-4 realizează o acuratețe top-1 de 85% deducând atributele personale cum ar fi locație, venit, vârstă și ocupație din numai postări Reddit.
Ce este cadrul ESRC?
ESRC (Extract-Search-Reason-Calibrate) este un cadru deanonimizare LLM în patru pași: (1) Extragere - LLM extrage fapte identificatoare din postări anonime folosind NLP, (2) Căutare - interogează baze de date publice cum ar fi LinkedIn folosind fapte extrase și încorporări semantice, (3) Raționament - LLM raționează despre potriviri candidate analizând coerență, (4) Calibrare - notare de încredere pentru a minimiza fals pozitivii maximizând potriviri adevărate.
Cât costă deanonimizarea pe bază LLM?
Cercetarea arată că deanonimizarea pe bază LLM costă $1-$4 pe profil, făcând deanonimizarea în masă din punct de vedere economic fezabilă. Pentru anonimizare defensivă, costurile sunt sub $0,035 per comentariu folosind GPT-4. Acest cost mic permite actorilor de stat, corporațiilor, stalkerilor și indivizilor rău-intenționați să efectueze atacuri de confidențialitate la scară largă.
Ce tipuri de PII pot extrage LLM-urile din text?
LLM-urile excelează la extragerea: adreselor de e-mail (acuratețe 100% cu GPT-4), numere de telefon (98%), adrese poștale și nume. Pot deduce și PII neexplicit: locație, nivel de venit, vârstă, sex, ocupație, educație, status relațional și locul de naștere din indicii textuale subtile și modele de scriere.
Ce este un atac de inferență de membri (MIA)?
Atacurile de inferență de membri determină dacă date specifice au fost folosite pentru a antrena un model AI. Pentru LLM-uri, aceasta dezvăluie dacă informații personale ale tale au fost în setul de date de antrenament. Cercetarea arată că adresele de e-mail și numerele de telefon sunt deosebit de vulnerabile. Vectori de atac noi includ inferență pe bază de tokenizer și analiză semnalelor de atenție (AttenMIA).
Cum scurg atacurile de injecție de prompt date personale?
Injecția de prompt manipulează agenții LLM pentru a scurge date personale observate în timpul execuției sarcinilor. În scenarii agenți bancar, atacurile ating o rată de succes de aproximativ 20% la exfiltrare de date personale, cu degradare utilitate 15-50% sub atac. Deși alinierea de siguranță previne scurgerea parolei, alte date personale rămân vulnerabile.
Cum poate anonym.legal ajuta la protejarea împotriva atacurilor de confidențialitate LLM?
anonym.legal oferă adevărată anonimizare prin: (1) Detectare PII - 285+ tipuri de entități inclusiv nume, locații, date, modele de scriere, (2) Înlocuire - înlocuiește PII real cu alternative valide pentru format, (3) Redactare - elimină complet informații sensibile, (4) Criptare reversibilă - AES-256-GCM pentru acces autorizat. Spre deosebire de pseudonimizare pe care LLM-urile o învinge, adevărata anonimizare elimină semnalele pe care le folosesc LLM-urile pentru deanonimizare.
Protejați-vă împotriva atacurilor de confidențialitate LLM
Nu vă bazați pe pseudonimitate. Utilizați adevărată anonimizare pentru a proteja documentele sensibile, datele utilizatorilor și comunicările de atacuri de identificare alimentate de AI.