Istraživanje napada na privatnost LLM
12 pregledanih naučnih radova koji demonstriraju zašto pseudonimnost ne uspeva protiv AI.
Deanonimizacija, izvlačenje lične informacije, zaključivanje o članstvu, napadi injektovanja upita — i kako se zaštititi.
Kategorije napada na privatnost
Deanonimizacija
LLM podudaraju anonimne postove sa stvarnim identitetima koristeći stil pisanja, činjenice i vremenske obrasce. 68% tačnosti sa $1-$4 po profilu.
Zaključivanje o atributima
LLM zaključuju o ličnim atributima (lokacija, prihod, uzrast) iz teksta čak i kada nisu navedeni. GPT-4 postiže 85% tačnost top-1.
Izvlačenje lične informacije
Izvlačenje lične informacije iz podataka za obuku ili upita. 100% tačnost izvlačenja e-maila sa GPT-4. 5 puta veće sa naprednim napadima.
Injektovanje upita
Manipulisanje LLM agentima da ispuste ličnu informaciju tokom izvršavanja zadatka. ~20% stopa uspeha napada u bankarskim scenarijima.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Ključno otkriće
68% recall at 90% precision for deanonymization using ESRC framework
Metodologija
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC okvir
LLM izvlači činjenice koje identifikuju iz anonimnih postova
Koristi činjenice za upit javnih baza podataka (LinkedIn itd.)
LLM zaključuje o podudaranju kandidata
Ocena pouzdanosti za minimiziranje lažnih pozitivnih rezultata
Eksperimentalni rezultati
| Skup podataka | Odziv @ 90% Tačnost | Napomene |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implikacije
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Svi naučni radovi
11 dodatnih pregledanih istraživanja o LLM napadima na privatnost
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, i saradnici (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Ključna otkrića
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, i saradnici (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Ključna otkrića
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, i saradnici (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Ključna otkrića
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, i saradnici (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Ključna otkrića
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Ključna otkrića
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, i saradnici (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Ključna otkrića
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, i saradnici (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Ključna otkrića
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, i saradnici (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Ključna otkrića
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Ključna otkrića
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Ključna otkrića
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Ključna otkrića
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Strategije odbrane iz istraživanja
Što ne radi
- ✗Pseudonimnost — LLM pobijaju korisnička imena, naloge, imena za prikaz
- ✗Konverzija teksta u sliku — Samo mali pad protiv multimodalnih LLM
- ✗Samo poravnanje modela — Trenutno neučinkovito za sprečavanje zaključivanja
- ✗Jednostavna anonimizacija teksta — Nedovoljna protiv LLM zaključivanja
Što radi
- ✓Adversarna anonimizacija — Smanjuje zaključivanje sa 66,3% na 45,3%
- ✓Diferencijalna privatnost — Smanjuje tačnost lične informacije sa 33,86% na 9,37%
- ✓Odbrana od injektovanja upita — Najefikasnija protiv LLM baziranog izvlačenja lične informacije
- ✓Pravo uklanjanje/zamena lične informacije — Uklanja signale koje koriste LLM
Zašto je ovo istraživanje važno
Ovih 12 naučnih radova demonstrira fundamentalni preokret u pretnjama privatnosti. Tradicionalni pristupi anonimizaciji, kao što su pseudonimi, korisnička imena i promena naloga, nisu više dovoljna zaštita od odlučnih neprijatelja sa pristupom LLM.
Ključne metrike pretnje
- 68% tačnost deanonimizacije pri 90% tačnosti (Hacker News → LinkedIn)
- 85% tačnost zaključivanja o atributima za lokaciju, prihod, uzrast, profesiju
- 100% izvlačenje e-maila i 98% izvlačenje telefonskog broja (GPT-4)
- 5 puta veće izvlačenje lične informacije sa sofisticiranim multi-upitnim napadima
- Cena od $1-$4 po profilu čini masovne napade ekonomski izvodljivim
Ko je u riziku
- Otkrivači i aktivisti: Anonimni postovi mogu biti povezani sa stvarnim identitetima
- Profesionalci: Aktivnost na Reddit-u povezana sa LinkedIn profilima
- Pacijenti zdravstvene zaštite: Zaključivanje o članstvu otkriva da li su podaci bili u obučavanju
- Bilo ko sa istorijskim postovima: Godinama podataka mogu biti retroaktivno deanonimizovani
Kako anonym.legal rešava ove pretnje
anonym.legal pruža pravu anonimizaciju koja uklanja signale koje koriste LLM:
- 285+ tipova entiteta: Imena, lokacije, datumi, vremenski markeri, identifikatori
- Prekid šablona pisanja: Zamenjuje tekst koji otkriva stilometrijski otisak prsta
- Reverzibilno šifriranje: AES-256-GCM za slučajeve koji zahtevaju autorizovan pristup
- Više operatora: Zameni, Precrtaj, Heš, Šifruj, Maska, Prilagođeno
Često postavljana pitanja
Šta je deanonimizacija bazirana na LLM?
Deanonimizacija bazirana na LLM koristi velike jezičke modele za identifikovanje stvarnih osoba iz anonimnih ili pseudonimnih interneta objava. Za razliku od tradicionalnih metoda koje ne uspevaju na skali, LLM mogu kombinovati analizu stila pisanja (stilometriju), navedene činjenice, vremenske obrasce i kontekstno zaključivanje da bi podudarili anonimne profile sa stvarnim identitetima. Istraživanja pokazuju tačnost do 68% pri 90% preciznosti, u poređenju sa skoro 0% za klasične metode.
Koliko je tačna deanonimizacija bazirana na LLM?
Istraživanja pokazuju alarmantne nivoe tačnosti: 68% odziva pri 90% tačnosti za podudaranje Hacker News-a sa LinkedIn-om, 67% za vremensku analizu Reddit-a (isti korisnik tokom vremena), 35% na internetu (1M+ kandidata). Za zaključivanje o atributima, GPT-4 postiže 85% tačnost top-1 zaključujući lične atribute kao što su lokacija, prihod, uzrast i profesija samo iz Reddit postova.
Šta je ESRC okvir?
ESRC (Extract-Search-Reason-Calibrate) je četverostepeni okvir deanonimizacije LLM: (1) Izvlačenje - LLM izvlači činjenice koje identifikuju iz anonimnih postova koristeći NLP, (2) Pretraga - upiti javnih baza podataka kao što je LinkedIn koristeći izvučene činjenice i semantičke vektore, (3) Zaključivanje - LLM zaključuje o podudaranju kandidata analizirajući konzistentnost, (4) Kalibriranje - ocena pouzdanosti za minimiziranje lažnih pozitivnih rezultata dok se maksimiziraju stvarna podudaranja.
Koliko košta deanonimizacija bazirana na LLM?
Istraživanja pokazuju da deanonimizacija bazirana na LLM košta $1-$4 po profilu, što čini masovnu deanonimizaciju ekonomski izvodljivom. Za odbrambenu anonimizaciju, troškovi su manje od $0.035 po komentaru koristeći GPT-4. Ova niska cena omogućava državnim subjektima, korporacijama, progoniliocima i zlovoljnim licima da provode velike napade na privatnost.
Koje vrste lične informacije mogu LLM da izvuku iz teksta?
LLM izvanredne izvlače: e-mail adrese (100% tačnost sa GPT-4), telefonske brojeve (98%), poštanske adrese i imena. Oni takođe mogu zaključiti o neeksplicitno navedenoj ličnoj informaciji: lokaciju, nivo prihoda, uzrast, pol, profesiju, obrazovanje, bračni status i mesto rođenja iz sitnih tekstualnih signala i šablona pisanja.
Šta je napad zaključivanja o članstvu (MIA)?
Napadi zaključivanja o članstvu određuju da li su specifični podaci korišćeni za obučavanje AI modela. Za LLM, ovo otkriva da li su vaši lični podaci bili u skupu podataka za obučavanje. Istraživanja pokazuju da su e-mail adrese i telefonski brojevi posebno osetljivi. Novi vektori napada uključuju zaključivanje na osnovu tokenajzera i analizu signala pažnje (AttenMIA).
Kako napadi injektovanja upita curenja lične informacije?
Injektovanje upita manipuliše LLM agentima da isputaju ličnu informaciju primećenu tokom izvršavanja zadatka. U bankarskim scenarijima, napadi postižu ~20% stopu uspeha u ekstrahozanju lične informacije, sa 15-50% smanjenjem korisnosti tokom napada. Dok poravnanje sigurnosti sprečava curenja lozinki, druga lična informacija ostaje osetljiva.
Kako anonym.legal može pomoći da se zaštiti od LLM napada na privatnost?
anonym.legal pruža pravu anonimizaciju kroz: (1) Otkrivanje lične informacije - 285+ tipova entiteta uključujući imena, lokacije, datume, šablone pisanja, (2) Zamenu - zamenjuje stvarnu ličnu informaciju sa formatima validnim alternativama, (3) Precrtavanje - kompletno uklanja osetljive informacije, (4) Reverzibilno šifriranje - AES-256-GCM za slučajeve koji zahtevaju autorizovan pristup. Za razliku od pseudonimnosti koju LLM pobijaju, prava anonimizacija uklanja signale koje LLM koriste za deanonimizaciju.
Zaštitite se od LLM napada na privatnost
Nemojte se oslanjati na pseudonimnost. Koristite pravu anonimizaciju da zaštitite osetljive dokumente, podatke korisnika i komunikaciju od napada na identifikovanje baziranog na AI.