LLM duomenų privatumo atakos tyrimas
12 peržiūrėtų mokslinių darbų, kurie parodo, kodėl pseudonimumą nepavyksta apsaugoti nuo AI.
Deanonimizacija, asmeninių duomenų ištraukimas, narystės nustatymas, užuominas į nurodytus klausimus — ir kaip nuo to apsisaugoti.
Duomenų privatumo atakų kategorijos
Deanonimizacija
LLM suderina anonimius įrašus su tikrais tapatumais naudodami rašymo stilių, faktus ir laiko šablonus. 68% tikslumas, kai $1-$4 už profilį.
Atributo nustatymas
LLM nustato asmeninius atributus (vietovę, pajamas, amžių) iš teksto, net jei jie nenurodomi. GPT-4 pasiekia 85% top-1 tikslumą.
Asmeninių duomenų ištraukimas
Asmeninės informacijos ištraukimas iš mokymo duomenų arba nurodymo. 100% el. pašto ištraukimo tikslumas su GPT-4. 5 kartus padidėjimas naudojant išplėstines atakas.
Nurodymo injekcija
LLM agentų manipuliavimas asmeninių duomenų nutekėjimui atliekant užduotį. ~20% atakos sėkmės dažnis bankiniais scenarijais.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Pagrindinė išvada
68% recall at 90% precision for deanonymization using ESRC framework
Metodika
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC sistema
LLM ištraukia identifikuojančius faktus iš anonimių įrašų
Naudoja faktus viešiems duomenų pagrindams užklausti (LinkedIn ir kt.)
LLM samprotauja apie kandidatų atitikmus
Pasitikėjimo įvertis siekiant sumažinti klaidingus teigiamus rezultatus
Eksperimentiniai rezultatai
| Duomenų rinkinys | Atmintis @ 90% tikslumas | Pastabos |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implikacijos
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Visi moksliniai darbai
11 papildomų peržiūrėtų tyrimų apie LLM duomenų privatumo atakas
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, ir kt. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Pagrindinės išvados
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, ir kt. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Pagrindinės išvados
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, ir kt. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Pagrindinės išvados
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, ir kt. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Pagrindinės išvados
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Pagrindinės išvados
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, ir kt. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Pagrindinės išvados
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, ir kt. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Pagrindinės išvados
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, ir kt. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Pagrindinės išvados
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Pagrindinės išvados
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Pagrindinės išvados
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Pagrindinės išvados
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Gynybos strategijos iš tyrimų
Kas neveikia
- ✗Pseudonimumas — LLM nugali naudotojų vardus, rankinius, rodinio vardus
- ✗Teksto į vaizdą konversija — Tik mažas sumažėjimas prieš multimodalius LLM
- ✗Modelio derinimas vienas pats — Šiuo metu neveiksminga nustatytam išlaidoms
- ✗Paprastas teksto anoniminimas — Nepakankamas LLM samprotavimui
Kas veikia
- ✓Priešininkė anonimizacija — Sumažina nustatymą nuo 66,3% iki 45,3%
- ✓Diferencialus privatumas — Sumažina asmeninių duomenų tikslumą nuo 33,86% iki 9,37%
- ✓Nurodymo injekcijos gynybai — Pats efektyviausias prieš LLM pagrindu pagrįstą asmeninių duomenų nutekėjimą
- ✓Tikri asmeninių duomenų šalinimas/pakeitimas — Pašalina signalus, kuriuos naudoja LLM
Kodėl šis tyrimas svarbus
Šie 12 mokslinių darbų parodo pagrindinį pokytį duomenų privatumo grėsmėse. Tradiciniai anonimizacijos metodai, tokie kaip pseudoniumai, naudotojų vardai ir rankinių keitimas, nebegali apsaugoti nuo pasiryžusių priešininkų, turinčių prieigą prie LLM.
Pagrindinės grėsmės metrikos
- 68% deanonimizacijos tikslumas esant 90% tikslumui (Hacker News → LinkedIn)
- 85% atributo nustatymo tikslumas vietovei, pajamoms, amžiui, profesijai
- 100% el. pašto ištraukimas ir 98% telefono numerio ištraukimas (GPT-4)
- 5 kartus padidėjęs asmeninių duomenų nutekėjimas su išrafinėtomis kelių užklausų atakomis
- $1-$4 kaina per profilį daro masingas atakas ekonomiškai įmanomas
Kas rizikuje
- Slapyvardžiai ir aktyvistai: Anonimi įrašai gali būti susieti su tikrais tapatumais
- Profesionalai: Reddit veikla susieta su LinkedIn profiliais
- Sveikatos priežiūros pacientai: Narystės nustatymas atskleidžia, ar duomenys buvo mokymo rinkinyje
- Bet kas su istoriniais įrašais: Metų duomenys gali būti retroaktyviai deanonimizuoti
Kaip anonym.legal sprendžia šias grėsmes
anonym.legal suteikia tikrą anonimizaciją, kuri pašalina signalus, kuriuos naudoja LLM:
- 285+ objektų tipai: Vardai, vietovės, datos, laiko žymekliai, identifikatoriai
- Rašymo šablono sutrikimai: Pakeičia tekstą, kuris atskleidžia stilometriškai pirštų atspaudus
- Grįžtamasis šifravimas: AES-256-GCM atvejams, kuriems reikalingas leistinas prieiga
- Keli operatoriai: Pakeisti, Perbraukti, Maišas, Šifruoti, Kaukė, Parinktinis
Dažniausiai užduodami klausimai
Kas yra LLM pagrįsta deanonimizacija?
LLM grįsta deanonimizacija naudoja dideles kalbos modelius realių asmenų identifikavimui iš anonimių arba pseudoniminių interneto įrašų. Skirtingai nuo tradicinių metodų, kurie nepavyksta pavaizduoti skalę, LLM gali sujungti rašymo stiliaus analizę (stilometriją), nurodytus faktus, laiko šablonus ir kontekstinį samprotavimą, kad būtų galima suderinti anonimius profilius su tikrais tapatumais. Tyrimai rodo iki 68% tikslumą 90% tikslumu, palyginti su beveik 0% klasikiniais metodais.
Koks yra LLM deanonimizacijos tikslumas?
Tyrimai parodo šokiruojančius tikslumo lygius: 68% atmintis esant 90% tikslumui Hacker News su LinkedIn atitikčiai, 67% Reddit laiko analizei (tas pats naudotojas per laiką), 35% interneto mastu (1M+ kandidatai). Atributo nustatymo atveju GPT-4 pasiekia 85% top-1 tikslumą nustatydamas asmeninius atributus, tokius kaip vietovė, pajamos, amžius ir profesija iš vien Reddit įrašų.
Kas yra ESRC sistema?
ESRC (Extract-Search-Reason-Calibrate) yra keturių žingsnių LLM deanonimizacijos sistema: (1) Ištraukimas - LLM ištraukia identifikuojančius faktus iš anonimių įrašų naudodama NLP, (2) Paieška - užklausos viešiems duomenų pagrindams, tokiems kaip LinkedIn, naudojant iš ekstraktus faktus ir semantinius įdėjimus, (3) Samprotavimas - LLM samprotauja apie kandidatų atitikimus analizuodama nuoseklumą, (4) Kalibruoti - pasitikėjimo įvertis siekiant sumažinti klaidingus teigiamus rezultatus maksimizuojant tikrus atitikimus.
Kiek kainuoja LLM deanonimizacija?
Tyrimai rodo, kad LLM grįsta deanonimizacija kainuoja $1-$4 per profilį, todėl masinė deanonimizacija yra ekonomiškai įmanoma. Gynybinei anonimizacijai kaina yra mažiau nei $0,035 per komentarą naudojant GPT-4. Ši žema kaina leidžia valstybės subjektams, korporacijoms, persekiotojams ir nuo šalies betarpiškai atlikt daug didelio masto duomenų privatumo atakas.
Kokius asmeninių duomenų tipus LLM gali ištraukti iš teksto?
LLM puikiai ištraukia: el. pašto adresus (100% tikslumas su GPT-4), telefono numerius (98%), pašto adresus ir vardus. Jie taip pat gali daryti išvadą apie netiesiogiai nurodytus asmeninius duomenis: vietovę, pajamų lygį, amžių, lytį, profesiją, švietimą, šeimyninį statusą ir gimimo vietą iš subtilių tekstinių signalų ir rašymo šablonų.
Kas yra narystės nustatymo ataka (MIA)?
Narystės nustatymo atakos nustato, ar specifiniai duomenys buvo naudoti AI modelio mokyti. LLM atveju tai atskleidžia, ar jūsų asmeninė informacija buvo mokymo duomenų rinkinyje. Tyrimai rodo, kad el. pašto adresai ir telefono numeriai yra ypač jautrūs. Nauji atakos vektoriai apima žetonizavimo pagrindu pagrįstą nustatymą ir dėmesio signalo analizę (AttenMIA).
Kaip nurodymo injekcijos atakos nuteka asmeninius duomenis?
Nurodymo injekcija manipuliuoja LLM agentais, kad nutekėtų asmeniniai duomenys, stebimi atliekant užduotį. Bankiniais scenarijais atakos pasiekia ~20% sėkmės dažnį nutekedami asmeninius duomenis, su 15-50% naudingumo sumažėjimu atakos metu. Nors saugumo derinimas užkerta kelią slaptažodžio nutekėjimui, kiti asmeniniai duomenys lieka jautrūs.
Kaip anonym.legal gali padėti apsaugoti nuo LLM duomenų privatumo atakų?
anonym.legal suteikia tikrą anonimizaciją per: (1) Asmeninių duomenų nustatymas - 285+ objektų tipai, įskaitant vardus, vietas, datas, rašymo šablonus, (2) Pakeitimas - pakeičia tikrus asmeninius duomenis formatu galiomis alternatyvomis, (3) Perbraukimas - visiškai pašalina jautlią informaciją, (4) Grįžtamasis šifravimas - AES-256-GCM leistinai prieigai. Skirtingai nuo pseudonimio, kurį nugali LLM, tikra anonimizacija pašalina signalus, kuriuos LLM naudoja deanonimizacijai.
Apsisaugokite nuo LLM duomenų privatumo atakų
Nepasitikėkite pseudonimumi. Naudokite tikrą anonimizaciją jautrių dokumentų, naudotojo duomenų ir komunikacijos apsaugai nuo AI pagrindu pagrįsto identifikavimo atakų.