Истражување на напади за приватност на LLM
12 рецензирани истражувачки трудови кои покажуваат зошто псевдонимност неуспешна наспроти AI.
Деаминизирање, екстракција PII, следување за припадност, напади на вбризгување на упит — и како да се заштитите.
Категории на напади за приватност
Деаминизирање
LLM-ите совпаѓаат анонимни објави со вистински идентитети користејќи стил на пишување, факти и временски обрасци. Точност 68% на $1-$4/профил.
Заклучување на атрибути
LLM-ите заклучуваат лични атрибути (локација, доход, возраст) од текст дури и кога не се наведени. GPT-4 постигнува top-1 точност од 85%.
Екстракција PII
Екстракција на лични информации од податоци за обука или упити. 100% точност на екстракција на е-пошта со GPT-4. Зголемување од 5× со напредни напади.
Вбризгување на упит
Манипулација на LLM агенти за пропуштање лични податоци при извршување на задачи. ~20% стапка на успех на напад во банкарски сценариа.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Клучен наход
68% recall at 90% precision for deanonymization using ESRC framework
Методологија
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Рамка ESRC
LLM екстрахира идентификационни факти од анонимни објави
Користи факти за пребарување јавни бази на податоци (LinkedIn, итн.)
LLM размишлува за кандидат совпаѓање
Оценување на доверба за минимизирање на лажни позитиви
Експериментални резултати
| Сет на податоци | Позив @ 90% точност | Напомени |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Импликации
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Сите истражувачки трудови
11 дополнителни рецензирани истражувачки трудови за напади на приватност на LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, и други (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Клучни наоди
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, и други (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Клучни наоди
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, и други (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Клучни наоди
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, и други (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Клучни наоди
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Клучни наоди
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, и други (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Клучни наоди
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, и други (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Клучни наоди
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, и други (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Клучни наоди
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Клучни наоди
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Клучни наоди
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Клучни наоди
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Стратегии за одбрана од истражување
Што не функционира
- ✗Псевдонимност — LLM-ите надминуваат корисничко име, раквици, приказано име
- ✗Конверзија на текст во слика — Само минимално намалување наспроти мултимодални LLM
- ✗Само поравнување на модел — Моментално неефективно во спречување на заклучување
- ✗Едноставна анонимизирање на текст — Недостатна наспроти LLM размишување
Што функционира
- ✓Противничка анонимизирање — Намалува заклучување 66,3% → 45,3%
- ✓Диференцијална приватност — Намалува точност PII 33,86% → 9,37%
- ✓Одбрана од вбризгување на упит — Најефикасна наспроти PIE базирана на LLM
- ✓Вистинско отстранување/замена PII — Отстранува сигнали што ги користат LLM-ите
Зошто е важна оваа истражување
Овие 12 истражувачки трудови покажуваат фундаментална промена во закани за приватност. Традиционалните приоди на анонимизирање како што се псевдоними, корисничко име и промени на раквици повеќе не се доволна заштита од одлучни противници со пристап до LLM.
Клучни метрики на закани
- Точност на деаминизирање 68% на 90% точност (Hacker News → LinkedIn)
- Точност на заклучување на атрибути 85% за локација, доход, возраст, занимање
- Екстракција на е-пошта 100% и екстракција на телефонски број 98% (GPT-4)
- Зголемување од 5× во пропуштање на PII со софистицирани напади со повеќе прашања
- $1-$4 цена по профил ги прави масовните напади економски изводливи
Кој е во ризик
- Откривачи и активисти: Анонимни објави можат да се поврзат со вистински идентитети
- Стручњаци: Reddit активност поврзана со LinkedIn профили
- Пациенти во здравство: Заключување за припадност открива дали податоци беше во обука
- Секој со историски објави: Години на податоци можат да бидат ретроактивно деаминизирани
Како anonym.legal се справува со овие закани
anonym.legal обезбедува вистинска анонимизирање која ги отстранува сигналите што ги користат LLM-ите:
- 285+ типови на ентитети: Имена, локации, датуми, временски маркери, идентификатори
- Дисрупција на обрасец на пишување: Замена на текст што ја открива стилометриската отпечатоци
- Вратлива енкрипција: AES-256-GCM за случаи што бараат овластен пристап
- Повеќе оператори: Замена, редакција, хеш, енкрипција, маска, прилагодена
Често постављана прашања
Што е деаминизирање базирано на LLM?
Деаминизирањето базирано на LLM користи големи јазични модели за идентификување на вистински лица од анонимни или псевдонимни интернет објави. За разлика од традиционалните методи што не успеваат при скала, LLM-ите можат да комбинираат анализа на стил на пишување (стилометрија), наведени факти, временски обрасци и контекстуално размишување за совпаѓање на анонимни профили со вистински идентитети. Истражувањата покажуваат точност до 68% на 90% точност, во поршина со речиси 0% за класични методи.
Колку точно е деаминизирањето на LLM?
Истражувањата покажуваат алармантни нивоа на точност: позив 68% на 90% точност за совпаѓање на Hacker News со LinkedIn, 67% за анализа на временска серија Reddit (ист корисник во текот на времето), 35% при интернет скала (1M+ кандидати). За заклучување на атрибути, GPT-4 постигнува top-1 точност од 85% заклучување лични атрибути како локација, доход, возраст и занимање од само Reddit објави.
Што е рамка ESRC?
ESRC (Extract-Search-Reason-Calibrate) е четиристепена рамка за деаминизирање на LLM: (1) Екстракција - LLM екстрахира идентификациони факти од анонимни објави користејќи NLP, (2) Пребарување - пребарува јавни бази на податоци како LinkedIn користејќи екстрахирани факти и семантички вградување, (3) Размишување - LLM размишлува за кандидат совпаѓања анализирајќи конзистентност, (4) Калибрирање - оценување на доверба за минимизирање на лажни позитиви додека максимално вистински совпаѓања.
Колку чини деаминизирањето базирано на LLM?
Истражувањата покажуваат дека деаминизирањето базирано на LLM чини $1-$4 по профил, што го прави масовното деаминизирање економски изводливо. За одбрана на анонимизирање, трошокот е под $0,035 по коментар користејќи GPT-4. Овој низок трошок му овозможува на државните актери, корпорациите, оловите и злонамерните лица да спроведат напади на приватност во голема скала.
Кои видови на PII можат LLM-ите да екстрахираат од текст?
LLM-ите се одличат во екстрацирање: е-пошта адреси (100% точност со GPT-4), телефонски броеви (98%), поштенски адреси и имена. Можат исто така да заклучат не експлицитни PII: локација, ниво на доход, возраст, пол, занимање, образование, статус на однос и место на раѓање од суптилни текстуални белези и обрасци на пишување.
Што е напад за заклучување на припадност (MIA)?
Нападите за заклучување на припадност ја определуваат дали одредени податоци беше користени за обука на AI модел. За LLM-ите, ова открива дали вашите лични подаци беше во сетот на податоци за обука. Истражувањата покажуваат дека е-пошта адресите и телефонските броеви се особено ранливи. Новите вектори на напад вклучуваат заклучување базирано на tokenizer и анализа на сигнали за внимание (AttenMIA).
Како нападите на вбризгување на упит ја пропуштаат личната информација?
Вбризгувањето на упит манипулира LLM агенти да пропуштаат лични податоци опазени при извршување на задачи. Во банкарски сценариа на агент, нападите постигнуваат ~20% стапка на успех при екстрахирање на лични податоци, со деградација на корисност 15-50% под напад. Иако безбедносното поравнување спречува пропуштање на лозинка, останатите лични подаци остануваат ранливи.
Како може anonym.legal да помогне при заштита од напади на приватност на LLM?
anonym.legal обезбедува вистинска анонимизирање преку: (1) Детекција PII - 285+ типови на ентитети вклучително имена, локации, датуми, обрасци на пишување, (2) Замена - замена вистински PII со алтернативи валидни за формат, (3) Редакција - целосно отстранува осетлива информација, (4) Вратлива енкрипција - AES-256-GCM за овластен пристап. За разлика од псевдонимност што LLM-ите ја надминуваат, вистинската анонимизирање ги отстранува сигналите што ги користат LLM-ите за деаминизирање.
Заштита од напади на приватност на LLM
Не се потпирајте на псевдонимност. Користете вистинска анонимизирање за заштита на осетливи документи, кориснички подаци и комуникација од напади на идентификување засилувани со AI.