LLM privātuma uzbrukumu pētniecība
12 recenzēti pētniecības dokumenti, kas parāda, kāpēc pseidoānimitāte neizdodas pret AI.
Deanonimizācija, PII ekstrakcija, dalības secinājums, risinājumu injekcijas uzbrukumi — un kā pret tiem aizsargāties.
Privātuma uzbrukumu kategorijas
Deanonimizācija
LLM salīdzina anonīmus ierakstus ar reālajām identitātēm, izmantojot rakstīšanas stilu, faktus un laikus modeļus. 68% precizitāte par $1-$4/profilu.
Atribūtu secinājums
LLM secina personīgos atribūtus (atrašanās vietu, ienākumus, vecumu) no teksta pat kad tie nav minēti. GPT-4 sasniedz 85% top-1 precizitāti.
PII ekstrakcija
Personas informācijas ekstrakcija no treniņu datiem vai risinājumiem. 100% e-pasta ekstrakcijas precizitāte ar GPT-4. 5x pieaugums ar uzlabotas uzbrukumi.
Risinājuma injekcija
LLM agentu manipulācija personas datu noplūdes laikā uzdevuma izpildes. ~20% uzbrukuma veiksmīguma līmenis bankas scenārijos.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Galvenais atklājums
68% recall at 90% precision for deanonymization using ESRC framework
Metodika
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC ietvaros
LLM ekstrahē identificējošus faktus no anonīmiem ierakstiem
Izmanto faktus publisko datu bāzu vaicāšanai (LinkedIn utt.)
LLM spriež par kandidātu atbilstības gadījumiem
Pārliecības punktešana, lai samazinātu viltus pozitīvus rezultātus
Eksperimentālie rezultāti
| Datu kopa | Atcere @ 90% precizitāte | Piezīmes |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Sekas
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Visi pētniecības dokumenti
11 papildu recenzēti pētījumi par LLM privātuma uzbrukumiem
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Galvenie atklājumi
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Galvenie atklājumi
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Galvenie atklājumi
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Galvenie atklājumi
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Galvenie atklājumi
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Galvenie atklājumi
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Galvenie atklājumi
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Galvenie atklājumi
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Galvenie atklājumi
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Galvenie atklājumi
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Galvenie atklājumi
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Aizsardzības stratēģijas pētniecībā
Kas nefungē
- ✗Pseidoānimizācija — LLM pieveic lietotājvārdus, segvārdus, parādāmos vārdus
- ✗Teksta uz attēlu konversija — Tikai neliels samazinājums pret multimodāļiem LLM
- ✗Tikai modeļa izlīdzinājums — Pašlaik neefektīvi, lai novērstu secinājumus
- ✗Vienkārša teksta anonimizācija — Nepietiekami pret LLM noslēpumošanu
Kas darbojas
- ✓Pretimniecīga anonimizācija — Samazina secinājumus 66,3% → 45,3%
- ✓Diferenciālais privātums — Samazina PII precizitāti 33,86% → 9,37%
- ✓Aizsardzība pret risinājuma injekciju — Visaktvīvākā pret LLM PIE
- ✓Patiesa PII noņemšana/aizstāšana — Noņem signālus, ko LLM izmanto
Kāpēc šis pētījums ir svarīgs
Šie 12 pētniecības dokumenti parāda fundamentālu maiņu privātuma draudos. Tradicionālie anonimizācijas pieejas, piemēram, pseidoānimitāte, lietotājvārdi un segvārdu izmaiņas, vairs nav pietiekama aizsardzība pret noteiktiem pretinieciem, kuriem ir piekļuve LLM.
Galvenie draudu rādītāji
- Deanonimizācijas precizitāte 68% ar 90% precizitāti (Hacker News → LinkedIn)
- Atribūtu secinājuma precizitāte 85% atrašanās vietai, ienākumiem, vecumam, amatam
- E-pasta ekstrakcija 100% un tālruņa numura ekstrakcija 98% (GPT-4)
- PII noplūdes pieaugums 5x ar sarežģītiem multi-vaicājuma uzbrukumiem
- Izmaksas $1-$4 par profilu padara lielapjoma uzbrukumus ekonomiski iespējamus
Kas ir apdraudēts
- Vispārpratēji un aktīvisti: anonīmes ierakstus var saistīt ar reālajām identitātēm
- Profesionāļi: Reddit aktivitāte saistīta ar LinkedIn profiliem
- Veselības aprūpes pacienti: Dalības secinājums atklāj, vai dati bija treniņos
- Ikviens ar vēsturiskiem ierakstiem: Daudz gadu datus var retroaktīvi deanonimizēt
Kā anonym.legal risina šos draudus
anonym.legal nodrošina patieso anonimizāciju, kas noņem signālus, ko izmanto LLM:
- 285+ entitāju tipi: Vārdi, atrašanās vietas, datumi, laikas marķieri, identifikatori
- Rakstīšanas modeļa pārrāvums: Aizstāj tekstu, kas atklāj stilometriskos pirksteņu nospiedumus
- Atgriezeniska šifrēšana: AES-256-GCM gadījumiem, kas prasa autorizētu piekļuvi
- Vairāki operatori: Aizstāšana, redakts, jaukšana, šifrēšana, masking, pielāgots
Bieži uzdotie jautājumi
Kas ir LLM bāzēta deanonimizācija?
LLM bāzēta deanonimizācija izmanto lielus valodas modeļus, lai identificētu reālas personas no anonīmiem vai pseidoanonīmiem tiešsaistes ierakstiem. Atšķirībā no tradicionālajām metodēm, kas neizdodas lielajā mērogā, LLM var apvienot rakstīšanas stila analīzi (stilometriju), norādītos faktus, laikus modeļus un kontekstuālo noslēpumošanu, lai atbilstu anonīmiem profiliem reālajām identitātēm. Pētījumi parāda precizitāti līdz 68% ar 90% precizitāti, salīdzinot ar gandrīz 0% klasiskajām metodēm.
Cik precīza ir LLM deanonimizācija?
Pētījumi parāda alarmējošas precizitātes līmeņus: 68% atcere ar 90% precizitāti Hacker News uz LinkedIn atbilstībai, 67% Reddit laikam (tāds pats lietotājs laika gaitā), 35% interneta mērogā (1M+ kandidāti). Atribūtu secinājumam GPT-4 sasniedz 85% top-1 precizitāti, secinot personas atribūtus, piemēram, atrašanās vieta, ienākumi, vecums un amats tikai no Reddit ierakstiem.
Kas ir ESRC ietvaros?
ESRC (Extract-Search-Reason-Calibrate) ir četrpakāpju LLM deanonimizācijas ietvaros: (1) Ekstrakcija - LLM ekstrahē identificējošus faktus no anonīmiem ierakstiem, izmantojot NLP, (2) Meklēšana - jautā publiskās datu bāzes, piemēram, LinkedIn, izmantojot ekstrahētos faktus un semantiskus iegultnes, (3) Noslēpumošana - LLM spriež par kandidātu atbilstības gadījumiem analizējot konsekvenci, (4) Kalibrēšana - pārliecības punktešana, lai samazinātu viltus pozitīvus un maksimizētu patiesos atbilstības gadījumus.
Cik daudz maksā LLM deanonimizācija?
Pētījumi parāda, ka LLM bāzēta deanonimizācija maksā $1-$4 par profilu, padarot lielapjoma deanonimizāciju ekonomiski iespējamu. Defensīvai anonimizācijai izmaksas ir mazākas par $0,035 par komentāru, izmantojot GPT-4. Šīs zemas izmaksas ļauj valsts dalībniekiem, korporācijām, stalkieriem un ļaunprātīgiem indivīdiem veikt lielapjoma privātuma uzbrukumus.
Kādu veidu PII var LLM ekstrahēt no teksta?
LLM izcili ekstrahē: e-pasta adreses (100% precizitāte ar GPT-4), tālruņa numurus (98%), pasta adreses un vārdus. Viņi var arī secinājumā neeksplicit PII: atrašanās vieta, ienākuma līmenis, vecums, dzimums, amats, izglītība, ģimenes stāvoklis un dzimšanas vieta no smalkas teksta norādes un rakstīšanas modeļiem.
Kas ir dalības secinājuma uzbrukums (MIA)?
Dalības secinājuma uzbrukumi nosaka, vai konkrēti dati tika izmantoti AI modeļa apmācībai. LLM gadījumā tas atklāj, vai jūsu personas informācija bija apmācības datu kopā. Pētījumi parāda, ka e-pasta adreses un tālruņa numuri ir īpaši neaizsargāti. Jaunā uzbrukuma vektori ietver tokenizer bāzētu secinājumu un uzmanības signāla analīzi (AttenMIA).
Kā risinājuma injekcijas uzbrukumi noplūde personas datus?
Risinājuma injekcija manipulē LLM agentiem personas datu noplūdei, novērojot uzdevuma izpildes laikā. Bankas scenārijos uzbrukumi sasniedz ~20% veiksmīguma līmeni personas datu exfiltrācijai ar 15-50% utilītes degradāciju zem uzbrukuma. Lai gan drošības izlīdzinājums novērš paroles noplūdi, citi personas dati paliek neaizsargāti.
Kā anonym.legal var palīdzēt aizsargāties pret LLM privātuma uzbrukumiem?
anonym.legal nodrošina patieso anonimizāciju, izmantojot: (1) PII detektēšana - 285+ entitāju tipi, tostarp vārdi, atrašanās vietas, datumi, rakstīšanas modeļi, (2) Aizstāšana - aizstāj patieso PII ar formāts-spēcīgiem alternatīviem, (3) Redakts - pilnībā noņem sensitīvu informāciju, (4) Atgriezeniska šifrēšana - AES-256-GCM autorizētam piekļuvei. Atšķirībā no pseidoānimizācijas, ko LLM pieveic, patiesa anonimizācija noņem signālus, ko LLM izmanto deanonimizācijai.
Aizsargājieties pret LLM privātuma uzbrukumiem
Nepaļaujieties uz pseidoānimitāti. Izmantojiet patieso anonimizāciju, lai aizsargātu sensitīvus dokumentus, lietotāju datus un komunikāciju no AI spēku identificēšanas uzbrukumiem.