Исследования атак на конфиденциальность LLM
12 рецензируемых исследовательских работ, демонстрирующих почему псевдонимизация не защищает от ИИ.
Деанонимизация, извлечение PII, вывод членства, инъекции приглашений — и как от них защищаться.
Категории атак на конфиденциальность
Деанонимизация
LLM сопоставляют анонимные посты с реальными личностями, используя стиль письма, факты и временные закономерности. Точность 68% при стоимости 1–4 доллара за профиль.
Вывод атрибутов
LLM выводят личные атрибуты (местоположение, доход, возраст) из текста, даже если они не указаны. GPT-4 достигает точности top-1 85%.
Извлечение PII
Извлечение личной информации из данных обучения или приглашений. Точность извлечения электронной почты 100% с GPT-4. Пятикратное увеличение при продвинутых атаках.
Инъекция приглашения
Манипулирование агентами LLM для утечки личных данных во время выполнения задач. Примерно 20% коэффициент успеха атаки в сценариях онлайн-банкинга.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Ключевой вывод
68% recall at 90% precision for deanonymization using ESRC framework
Методология
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Каркас ESRC
LLM извлекает идентифицирующие факты из анонимных постов
Использует факты для запроса в общедоступные базы данных (LinkedIn и т.д.)
LLM рассуждает о потенциальных совпадениях
Оценка уверенности для минимизации ложных срабатываний
Экспериментальные результаты
| Набор данных | Отзыв @ 90% точность | Примечания |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Последствия
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Все исследовательские работы
11 дополнительных рецензируемых исследований об атаках на конфиденциальность LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, и др. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Ключевые выводы
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, и др. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Ключевые выводы
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, и др. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Ключевые выводы
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, и др. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Ключевые выводы
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Ключевые выводы
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, и др. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Ключевые выводы
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, и др. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Ключевые выводы
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, и др. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Ключевые выводы
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Ключевые выводы
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Ключевые выводы
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Ключевые выводы
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Стратегии защиты из исследований
Что не работает
- ✗Псевдонимизация — LLM преодолевают имена пользователей, ручки, отображаемые имена
- ✗Преобразование текста в изображение — только небольшое снижение против многомодальных LLM
- ✗Выравнивание модели — в настоящее время неэффективно для предотвращения вывода
- ✗Простая анонимизация текста — недостаточна против рассуждений LLM
Что работает
- ✓Состязательная анонимизация — снижает вывод 66,3% → 45,3%
- ✓Дифференциальная конфиденциальность — снижает точность PII 33,86% → 9,37%
- ✓Защита от инъекции приглашения — наиболее эффективна против извлечения PII на основе LLM
- ✓Истинное удаление/замена PII — удаляет сигналы, используемые LLM
Почему это исследование важно
Эти 12 исследовательских работ демонстрируют фундаментальный сдвиг в угрозах конфиденциальности. Традиционные подходы к анонимизации, такие как псевдонимы, имена пользователей и изменение ручек больше не обеспечивают достаточную защиту от полных противников с доступом к LLM.
Ключевые метрики угроз
- Точность деанонимизации 68% при 90% точности (Hacker News → LinkedIn)
- Точность вывода атрибутов 85% для местоположения, дохода, возраста, профессии
- Извлечение электронной почты 100% и извлечение номера телефона 98% (GPT-4)
- 5-кратное увеличение утечки PII при продвинутых атаках с несколькими запросами
- Стоимость $1–$4 за профиль делает массовые атаки экономически целесообразными
Кто в группе риска
- Информаторы и активисты: анонимные посты могут быть связаны с реальными личностями
- Профессионалы: активность в Reddit связана с профилями LinkedIn
- Пациенты здравоохранения: вывод членства раскрывает, были ли данные в обучающих данных
- Любой с историческими постами: годы данных могут быть ретроактивно деанонимизированы
Как anonym.legal решает эти угрозы
anonym.legal обеспечивает истинную анонимизацию, которая удаляет сигналы, используемые LLM:
- 285+ типов сущностей: имена, местоположения, даты, временные маркеры, идентификаторы
- Нарушение шаблона письма: заменяет текст, который раскрывает стилометрические отпечатки
- Обратимое шифрование: AES-256-GCM для случаев, требующих авторизованного доступа
- Несколько операторов: замена, редакция, хеширование, шифрование, маскирование, пользовательские
Часто задаваемые вопросы
Что такое деанонимизация на основе LLM?
Деанонимизация на основе LLM использует большие языковые модели для идентификации реальных лиц из анонимных или псевдонимных интернет-постов. В отличие от традиционных методов, которые не масштабируются, LLM могут комбинировать анализ стиля письма (стилометрия), указанные факты, временные закономерности и контекстное рассуждение для сопоставления анонимных профилей с реальными личностями. Исследования показывают точность до 68% при 90% точности, по сравнению с почти 0% для классических методов.
Насколько точна деанонимизация на основе LLM?
Исследования демонстрируют тревожные уровни точности: отзыв 68% при 90% точности для сопоставления Hacker News с LinkedIn, 67% для временного анализа Reddit (один и тот же пользователь с течением времени), 35% в масштабе интернета (1M+ кандидатов). Для вывода атрибутов GPT-4 достигает точности top-1 85% при выводе личных атрибутов, таких как местоположение, доход, возраст и профессия только из постов Reddit.
Что такое каркас ESRC?
ESRC (Extract-Search-Reason-Calibrate) — четырехэтапный каркас деанонимизации на основе LLM: (1) Извлечение — LLM извлекает идентифицирующие факты из анонимных постов с помощью NLP, (2) Поиск — запросы к общедоступным базам данных, таким как LinkedIn, с использованием извлеченных фактов и семантических вложений, (3) Рассуждение — LLM рассуждает о потенциальных совпадениях, анализируя согласованность, (4) Калибровка — оценка уверенности для минимизации ложных срабатываний при максимизации истинных совпадений.
Сколько стоит деанонимизация на основе LLM?
Исследования показывают, что деанонимизация на основе LLM стоит $1–$4 за профиль, что делает массовую деанонимизацию экономически целесообразной. Для защитной анонимизации затраты составляют менее $0,035 за комментарий с использованием GPT-4. Эта низкая стоимость позволяет государственным актерам, корпорациям, сталкерам и злоумышленникам проводить крупномасштабные атаки на конфиденциальность.
Какие типы PII могут извлекать LLM из текста?
LLM отлично справляются с извлечением: адреса электронной почты (100% точность с GPT-4), номера телефонов (98%), почтовые адреса и имена. Они также могут выводить неявные PII: местоположение, уровень дохода, возраст, пол, профессию, образование, семейное положение и место рождения на основе тонких текстовых подсказок и закономерностей в письме.
Что такое атака вывода членства (MIA)?
Атаки вывода членства определяют, использовались ли конкретные данные для обучения модели ИИ. Для LLM это раскрывает, находилась ли ваша личная информация в наборе данных обучения. Исследования показывают, что адреса электронной почты и номера телефонов особенно уязвимы. Новые векторы атак включают вывод на основе токенизатора и анализ сигнала внимания (AttenMIA).
Как атаки инъекции приглашения приводят к утечке личных данных?
Инъекция приглашения манипулирует агентами LLM для утечки личных данных, наблюдаемых во время выполнения задач. В сценариях банковского агента атаки достигают успеха ~20% при экфильтрации личных данных с деградацией полезности 15–50% при атаке. Хотя выравнивание безопасности предотвращает утечку паролей, другие личные данные остаются уязвимыми.
Как anonym.legal может помочь защититься от атак на конфиденциальность LLM?
anonym.legal обеспечивает истинную анонимизацию посредством: (1) Обнаружение PII — 285+ типов сущностей, включая имена, местоположения, даты, шаблоны письма, (2) Замена — заменяет реальные PII на альтернативы с правильным форматом, (3) Редакция — полностью удаляет конфиденциальную информацию, (4) Обратимое шифрование — AES-256-GCM для авторизованного доступа. В отличие от псевдонимизации, которую LLM могут преодолеть, истинная анонимизация удаляет сигналы, которые LLM используют для деанонимизации.
Защититесь от атак на конфиденциальность LLM
Не полагайтесь на псевдонимизацию. Используйте истинную анонимизацию для защиты конфиденциальных документов, данных пользователя и коммуникаций от атак идентификации на основе ИИ.