Дослідження атак на приватність LLM
12 рецензованих наукових робіт, які демонструють, чому псевдонімність виявляється неефективною перед AI.
Деанонімізація, вилучення персональних даних, витяг членства, атаки на введення запитів — і як захиститися від них.
Категорії атак на приватність
Деанонімізація
LLM порівнюють анонімні публікації з реальними ідентичностями, використовуючи стиль письма, факти та часові закономірності. Точність 68% при $1-$4 на профіль.
Висновок про атрибути
LLM отримують персональні атрибути (місцезнаходження, дохід, вік) з тексту, навіть коли вони не зазначені. GPT-4 досягає точність 85% за топ-1.
Вилучення персональних даних
Вилучення персональної інформації з навчальних даних або запитів. Точність вилучення електронної пошти 100% з GPT-4. Збільшення в 5 разів при просунутих атаках.
Введення запитів
Маніпулювання агентами LLM для витягу персональних даних під час виконання завдання. ~20% успішність атаки на сценарії банківської справи.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Ключовий висновок
68% recall at 90% precision for deanonymization using ESRC framework
Методологія
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Рамка ESRC
LLM вилучає ідентифікуючі факти з анонімних публікацій
Використовує факти для запиту у громадські бази даних (LinkedIn тощо)
LLM аналізує можливі відповідності кандидатів
Оцінка впевненості для мінімізації хибнопозитивних результатів
Експериментальні результати
| Набір даних | Полнота @ 90% Точність | Примітки |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Наслідки
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Усі наукові роботи
11 додаткових рецензованих досліджень про атаки на приватність LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, та інші (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Ключові висновки
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, та інші (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Ключові висновки
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, та інші (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Ключові висновки
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, та інші (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Ключові висновки
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Ключові висновки
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, та інші (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Ключові висновки
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, та інші (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Ключові висновки
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, та інші (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Ключові висновки
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Ключові висновки
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Ключові висновки
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Ключові висновки
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Стратегії захисту з досліджень
Що не працює
- ✗Псевдонімність — LLM перемагають імена користувачів, облікові записи, імена для відображення
- ✗Перетворення тексту в зображення — Невелике зменшення проти багатомодальних LLM
- ✗Вирівнювання моделі самого по собі — Наразі неефективне при запобіганню висновків
- ✗Проста анонімізація тексту — Недостатня проти LLM міркування
Що працює
- ✓Противникова анонімізація — Зменшує висновок з 66,3% на 45,3%
- ✓Диференціальна приватність — Зменшує точність персональних даних з 33,86% на 9,37%
- ✓Захист від введення запитів — Найефективніший проти LLM-базованого витягу персональних даних
- ✓Справжнє видалення/заміна персональних даних — Видаляє сигнали, які використовують LLM
Чому це дослідження важливе
Ці 12 наукових робіт демонструють фундаментальний зсув у загрозах приватності. Традиційні підходи до анонімізації, такі як псевдоніми, імена користувачів та зміна облікових записів, більше не забезпечують достатній захист від цілеспрямованих противників з доступом до LLM.
Ключові показники загроз
- Точність деанонімізації 68% при 90% точності (Hacker News → LinkedIn)
- Точність висновку про атрибути 85% для місцезнаходження, доходу, віку, професії
- Витяг електронної пошти 100% та витяг номера телефону 98% (GPT-4)
- 5-кратне збільшення витяг персональних даних при складних багатозапитних атаках
- Вартість $1-$4 на профіль робить масові атаки економічно доцільними
Хто ризикує
- Викривачі та активісти: Анонімні публікації можуть бути пов'язані з реальними ідентичностями
- Професіонали: Активність на Reddit пов'язана з профілями LinkedIn
- Пацієнти охорони здоров'я: Висновок про членство виявляє, чи були дані в навчанні
- Будь-хто з історичними публікаціями: Роки даних можуть бути ретроспективно деанонімізовані
Як anonym.legal вирішує ці загрози
anonym.legal забезпечує справжню анонімізацію, яка видаляє сигнали, які використовують LLM:
- 285+ типів сутностей: Імена, місцезнаходження, дати, часові маркери, ідентифікатори
- Порушення шаблону письма: Замінює текст, який розкриває стилеметричні відбитки пальців
- Зворотне шифрування: AES-256-GCM для випадків, що вимагають авторизованого доступу
- Кілька операторів: Замініть, Перекреслити, Хеш, Зашифрувати, Маска, Користувацький
Часто задавані запитання
Що таке деанонімізація на основі LLM?
Деанонімізація на основі LLM використовує великі мовні моделі для ідентифікації реальних осіб з анонімних або псевдонімних інтернет-публікацій. На відміну від традиційних методів, які не працюють у масштабі, LLM можуть поєднувати аналіз стилю письма (стилеметрія), зазначені факти, часові закономірності та контекстуальне міркування для порівняння анонімних профілів з реальними ідентичностями. Дослідження показує точність до 68% при 90% точності, порівняно з майже 0% для класичних методів.
Наскільки точна деанонімізація LLM?
Дослідження демонструє тривожні рівні точності: 68% повноти при 90% точності для порівняння Hacker News з LinkedIn, 67% для аналізу часу Reddit (той же користувач за часом), 35% у масштабі інтернету (1M+ кандидатів). Для висновку про атрибути GPT-4 досягає точність 85% за топ-1, висновуючи персональні атрибути, такі як місцезнаходження, дохід, вік та професія з публікацій Reddit самостійно.
Що таке рамка ESRC?
ESRC (Extract-Search-Reason-Calibrate) — це чотирирівнева рамка деанонімізації LLM: (1) Вилучення - LLM вилучає ідентифікуючі факти з анонімних публікацій за допомогою NLP, (2) Пошук - запит громадських баз даних, таких як LinkedIn, з використанням витягнених фактів та семантичних вкладень, (3) Міркування - LLM аналізує можливі відповідності кандидатів аналізуючи узгодженість, (4) Калібрування - оцінка впевненості для мінімізації хибнопозитивних результатів при максимізації справжніх відповідностей.
Скільки коштує деанонімізація LLM?
Дослідження показує, що деанонімізація на основі LLM коштує $1-$4 на профіль, що робить масову деанонімізацію економічно доцільною. Для захисної анонімізації вартість становить менше $0,035 на коментар за допомогою GPT-4. Ця низька вартість дозволяє державним структурам, корпораціям, переслідувачам та зловмисним особам проводити крупномасштабні атаки на приватність.
Які типи персональних даних LLM можуть витягти з тексту?
LLM відмінно витягають: адреси електронної пошти (100% точність з GPT-4), номери телефонів (98%), поштові адреси та імена. Вони також можуть отримувати не явно зазначені персональні дані: місцезнаходження, рівень доходу, вік, стать, професія, освіта, сімейний стан та місце народження з тонких текстових сигналів та шаблонів письма.
Що таке атака на витяг членства (MIA)?
Атаки на витяг членства визначають, чи були конкретні дані використані для навчання моделі AI. Для LLM це розкриває, чи були ваші персональні інформація у навчальному наборі. Дослідження показує, що адреси електронної пошти та номери телефонів особливо вразливі. Нові вектори атак включають висновок на основі токенізатора та аналіз сигналу уваги (AttenMIA).
Як атаки на введення запитів витягають персональні дані?
Введення запитів маніпулює агентами LLM для витягу персональних даних, спостережуваних під час виконання завдання. У сценаріях банківського агента атаки досягають ~20% успішності при експортуванні персональних даних, з 15-50% зменшенням корисності при атаці. Хоча вирівнювання безпеки запобігає витягу паролів, інші персональні дані залишаються вразливими.
Як anonym.legal може допомогти захистити від атак на приватність LLM?
anonym.legal забезпечує справжню анонімізацію через: (1) Визначення персональних даних - 285+ типів сутностей, включаючи імена, місцезнаходження, дати, шаблони письма, (2) Заміна - замінює справжні персональні дані альтернативами, дійсними за форматом, (3) Перекреслення - повністю видаляє чутливу інформацію, (4) Зворотне шифрування - AES-256-GCM для авторизованого доступу. На відміну від псевдонімності, яку LLM перемагають, справжня анонімізація видаляє сигнали, які використовують LLM для деанонімізації.
Захиститися від атак на приватність LLM
Не покладайтесь на псевдонімність. Використовуйте справжню анонімізацію для захисту чутливих документів, даних користувачів та комунікацій від атак ідентифікації на основі AI.