LLM privaatsuse rünnete uurimus
12 läbivaadatud uurimistööd, mis näitavad, miks pseudonüümsus ebaõnnestub tehisintellekti vastu.
Anonüümistamise tühistamine, PII eraldamine, liikmesuse järeldamine, käsutusridade süstimisrünnete — ja kuidas nende vastu kaitsta.
Privaatsuse rünnete kategooriad
Anonüümistamise tühistamine
LLM-id sobitavad anonüümseid postitusi tegeliku identiteediga kirjutamisstiili, faktide ja ajaliste mustrite abil. 68% täpsus $1-$4 juures profiili kohta.
Atribuudi järeldamine
LLM-id järeldavad isiklikud atribuudid (asukoht, sissetulek, vanus) tekstist isegi kui neid ei ole märgitud. GPT-4 saavutab 85% top-1 täpsuse.
PII eraldamine
Isikuandmete eraldamine treeningandmetest või käsitustest. 100% e-posti eraldamise täpsus GPT-4-ga. 5x suurenemine täiustatud rünnete korral.
Käsutusrea süstmine
LLM-agentide manipuleerimine isikuandmete lekitamiseks ülesande täitmisel. ~20% rünnaku edukuse määr pangakeskondade stsenaariumides.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Peamine leid
68% recall at 90% precision for deanonymization using ESRC framework
Metodoloogia
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC raamistik
LLM eraldab anonüümsete postituste seast identifitseerivad faktid
Kasutab fakte avalike andmebaaside (LinkedIn jne) pärimiseks
LLM arutleb kandidaatvastete üle
Usaldusväärsuse skoorimis valeindikaatorite minimeerimiseks
Eksperimentaaltulemused
| Andmekogum | Meenutamine @ 90% täpsus | Märkused |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Tagajärjed
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Kõik uurimistööd
11 täiendavat läbivaadatud uurimust LLM privaatsuse rünnete kohta
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Peamised leiud
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Peamised leiud
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Peamised leiud
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Peamised leiud
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Peamised leiud
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Peamised leiud
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Peamised leiud
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Peamised leiud
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Peamised leiud
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Peamised leiud
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Peamised leiud
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Kaitsestrateegiad uurimisest
Mida ei tööta
- ✗Pseudonümiseerimis — LLM-id võitavad kasutajanimed, hüüdnimed, kuvatavad nimed
- ✗Teksti muutmine kujutiseks — Vaid väike vähenemine multimodaalsete LLM-ide vastu
- ✗Ainult mudeli joondamine — Praegu kasutamatu järelduste takistamiseks
- ✗Lihtne teksti anonümiseerimine — Ebapiisav LLM arutluse vastu
Mida töötab
- ✓Antagonistlik anonümiseerimine — Vähendab järeldamist 66,3% → 45,3%
- ✓Diferentsiaal-privaatsus — Vähendab PII täpsust 33,86% → 9,37%
- ✓Käsutusrea süstimise vastane kaitse — Kõige tõhusam LLM PIE vastu
- ✓Tõeline PII eemaldamine/asendamine — Eemaldab signaalid, mida LLM kasutab
Miks see uurimus on oluline
Need 12 uurimustööd näitavad põhimõttelist muutust privaatsuse ohtudes. Traditsioonilised anonümiseerimise lähenemised nagu pseudonüümid, kasutajanimed ja kutseklakid muutused ei ole enam piisav kaitse kindlustatud vastaseid vastu, kellel on juurdepääs LLM-idele.
Peamiste ohte mõõtmisandmed
- Anonümistamise tühistamise täpsus 68% 90% täpsusega (Hacker News → LinkedIn)
- Atribuudi järeldamise täpsus 85% asukoha, sissetuleku, vanuse, ametinimetuste jaoks
- E-posti eraldamine 100% ja telefoninumbri eraldamine 98% (GPT-4)
- PII lekke suurenemine 5x sofistitseeritud mitme päringurünnete korral
- $1-$4 maksumus profiili kohta teeb massiivse rünnete majanduslikult teostatavaks
Kes on ohus
- Teadlased ja aktivistid: anonüümseid postitusi saab ühendada tegeliku identiteediga
- Professionaalid: Redditi aktiivsus ühendatud LinkedIn profiilidega
- Tervishoiu patsiendid: Liikmesuse järeldamine paljastab, kas andmed olid treenimisel
- Keegi ajaloobiliste postituustega: Aastaid andmeid saab retroaktiivselt anonümiseerida
Kuidas anonym.legal neid ohte lahendab
anonym.legal pakub tõelist anonümiseerimist, mis eemaldab signaalid, mida LLM kasutab:
- 285+ üksuste tüüpi: nimed, asukohad, kuupäevad, ajalise markerid, identifikaatorid
- Kirjutamismustri katkestamine: asendab teksti, mis paljastab stilomeetrilise sõrmejälje
- Pöörduv krüptimine: AES-256-GCM juhtudel, mis nõuavad autoriseeritud juurdepääsu
- Mitmed operaatorid: asendamine, redigeerimine, räsi, krüptimine, maskimine, kohandatud
Korduma kippuvad küsimused
Mis on LLM-põhine anonümistamise tühistamine?
LLM-põhine anonümistamise tühistamine kasutab suuri keelemudeleid, et tuvastada tegelikke isikuid anonüümsest või pseudonüümsest interneti-postitustest. Erinevalt traditsioonilistest meetoditest, mis suurtes mahus ebaõnnestuvad, saavad LLM-id kombineerida kirjutamisstiili analüüsi (stilomeetriat), väljaloetud fakte, ajalisi mustreid ja kontekstbaasilist arutlemist, et sobitada anonüümseid profiile tegeliku identiteediga. Uuringud näitavad täpsust kuni 68% 90% täpsusega, võrreldes klassikaliste meetoditega peaaegu 0%.
Kui täpne on LLM anonümistamise tühistamine?
Uuringud näitavad häirivat täpsuse taset: 68% meenutus 90% täpsusega Hacker News ja LinkedIn vahel, 67% Redditi ajaliseks analüüsiks (sama kasutaja aja jooksul), 35% interneti-ulatuses (1M+ kandidaati). Atribuudi järeldamise puhul saavutab GPT-4 85% top-1 täpsuse isikliku atribuutide nagu asukoht, sissetulek, vanus ja amet järeldamisel vaid Redditi postituste põhjal.
Mis on ESRC raamistik?
ESRC (Extract-Search-Reason-Calibrate) on neljaetapiline LLM anonümistamise tühistamise raamistik: (1) Eraldamine — LLM eraldab anonüümsete postituste seast identifitseerivad faktid NLP abil, (2) Otsimine — pärib avalikke andmebaase nagu LinkedIn, kasutades eraldatud fakte ja semantilisi sisestusi, (3) Arutlemine — LLM arutleb kandidaatvastete üle, analüüsides järjepidevust, (4) Kalibrimine — usaldusväärsuse skoorimis valeindikaatorite minimeerimiseks ja õigete vastete maksimeerimiseks.
Kui palju maksab LLM anonümistamise tühistamine?
Uuringud näitavad, et LLM-põhine anonümistamise tühistamine maksab $1-$4 profiili kohta, tehes massiivse anonümistamise tühistamise majanduslikult teostatavaks. Kaitsva anonümiseerimise jaoks maksavad kulud alla $0,035 kommentaari kohta, kasutades GPT-4. Need madal kulud võimaldavad riigi toimijatel, korporatsioonidel, stalkeritel ja pahatahtlikul isikutel teha laiaulatuslikke privaatsuse rünnete.
Millist tüüpi PII saavad LLM-id tekstist eraldada?
LLM-id on suurepärased eraldamisel: e-posti aadressid (100% täpsus GPT-4-ga), telefoninumbrid (98%), postiaadressid ja nimed. Nad võivad ka järeldada selgesõnaliselt väljendamata PII-d: asukoht, sissetulekutase, vanus, sugu, ametikoht, haridus, pereseis ja sünnikoht peen tekstimärguist ja kirjutamismustrist.
Mis on liikmesuse järeldamise rünnak (MIA)?
Liikmesuse järeldamise rünnete määravad, kas spetsiifilised andmed kasutati AI mudeli treenimiseks. LLM-ide puhul paljastab see, kas teie isiklik teave oli koolitusandmete hulgas. Uuringud näitavad, et e-posti aadressid ja telefoninumbrid on eriti haavatavad. Uued rünnakuvektorid sisaldavad tokenizer-põhist järeldamist ja tähelepanu signaali analüüsi (AttenMIA).
Kuidas käsutusrea süstimise rünnaked isikuandmete lekkeid?
Käsutusrea süstimine manipuleerib LLM-agente isikuandmete lekitamiseks ülesande täitmisel täheldatud andmete. Pangakeskondade stsenaariumides saavutavad rünnaked ~20% edukuse määra isikuandmete exfiltratsioonis 15-50% kasulikkuse halvenemisega rünnaku all. Kuigi turvalisuse joondamine takistab parooli lekkeid, jäävad muud isikuandmed haavatavaks.
Kuidas saab anonym.legal aidata kaitsta LLM privaatsuse rünnete eest?
anonym.legal pakub tõelist anonümiseerimist kaudu: (1) PII tuvastamine — 285+ üksuste tüüpi sealhulgas nimed, asukohad, kuupäevad, kirjutamismustrid, (2) Asendamine — asendab tõelised PII-d vormangulistega kehtivate alternatiividega, (3) Redigeerimine — täielikult eemaldab tundliku teabe, (4) Pöörduv krüptimine — AES-256-GCM autoriseeritud juurdepääsuks. Erinevalt pseudonümiseerimisest, mida LLM-id võidustavad, eemaldab tõeline anonümiseerimine signaalid, mida LLM-id kasutavad anonümistamise tühistamiseks.
Kaitstu LLM privaatsuse rünnete eest
Ära tugi pseudonüümsusele. Kasuta tõelist anonümiseerimist tundliku dokumentide, kasutajaandmete ja suhtluse kaitseks AI-jõuga identifikatsiooni rünnete eest.