Изследване на LLM атаки върху приватност
12 рецензирани научни статии, демонстриращи защо псевдонимиката се проваля срещу AI.
Деанонимизация, извличане на лични данни, заключение за членството, атаки чрез инжектиране на промпта — и как да се защитите.
Категории атаки на приватност
Деанонимизация
LLM съвпадат анонимни публикации с реални идентичности, използвайки стил на писане, факти и времеви шаблони. 68% точност при $1-$4/профил.
Заключение за атрибути
LLM отстранете лични атрибути (местоположение, доход, възраст) от текст, дори когато не са посочени. GPT-4 постига 85% точност top-1.
Извличане на лични данни
Извличане на лична информация от данни за обучение или промптове. 100% точност на извличане на имейл с GPT-4. 5-кратно увеличение с разширени атаки.
Инжектиране на промпта
Манипулиране на LLM агенти, за да изтекат лични данни по време на изпълнение на задача. ~20% процент на успех на атаката в банкови сценарии.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Ключов вывод
68% recall at 90% precision for deanonymization using ESRC framework
Методология
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Система ESRC
LLM извлича идентифициращи факти от анонимни публикации
Използва факти за запрос в публични бази данни (LinkedIn и т.н.)
LLM разсъждава за съвпадения на кандидати
Оценка на доверието за минимизиране на невярни позитиви
Експериментални резултати
| Набор от данни | Припомня си @ 90% точност | Бележки |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Последствия
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Всички научни статии
11 дополнителни рецензирани изследвания на LLM атаки върху приватност
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, и др. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Ключови находки
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, и др. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Ключови находки
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, и др. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Ключови находки
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, и др. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Ключови находки
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Ключови находки
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, и др. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Ключови находки
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, и др. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Ключови находки
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, и др. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Ключови находки
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Ключови находки
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Ключови находки
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Ключови находки
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Стратегии за защита от изследвания
Какво не работи
- ✗Псевдонимиката — LLM победават потребителските имена, профили, показаните имена
- ✗Преобразуване от текст към изображение — Само малко намаление срещу многомодални LLM
- ✗Само подравняване на модела — Наразі неефективно при предотвратяване на заключение
- ✗Проста анонимизация на текст — Недостатъчна срещу LLM разум
Какво работи
- ✓Противодействаща анонимизация — Намалява заключение от 66,3% на 45,3%
- ✓Диференциална приватност — Намалява точност на лични данни от 33,86% на 9,37%
- ✓Защита от инжектиране на промпта — Най-ефективна срещу LLM базирано извличане на лични данни
- ✓Истинско премахване/замяна на лични данни — Премахва сигналите, които LLM използват
Защо това изследване има значение
Тези 12 научни статии демонстрират фундаментален преход в заплахите за приватност. Традиционните подходи на анонимизация, като псевдоними, имена на потребители и смяна на профили, вече не предоставляват достатъчна защита срещу решителни противници с достъп до LLM.
Ключови показатели на заплахи
- 68% точност на деанонимизация при 90% точност (Hacker News → LinkedIn)
- 85% точност на заключение за атрибути за местоположение, доход, възраст, професия
- 100% извличане на имейл и 98% извличане на телефонен номер (GPT-4)
- 5-кратно увеличение на извличането на лични данни със сложни многозапитни атаки
- $1-$4 разход на профил прави массовите атаки икономически осъществими
Кой е в риск
- Разкриватели и активисти: Анонимни публикации могат да бъдат свързани с истински идентичности
- Професионалци: Активност в Reddit свързана с профили в LinkedIn
- Пациенти в здравеопазването: Заключение за членството разкрива дали данните бяха в обучението
- Всеки с исторически публикации: Години на данни могат да бъдат ретроактивно деанонимизирани
Как anonym.legal решава тези заплахи
anonym.legal предоставя истинска анонимизация, която премахва сигналите, които използват LLM:
- 285+ типа сущности: Имена, местоположения, дати, времеви маркери, идентификатори
- Прекъсване на модела на писане: Замества текст, който разкрива стилометрични пръстови отпечатъци
- Обратимо шифриране: AES-256-GCM за случаи, които изискват оторизиран достъп
- Множество оператори: Замяна, Зачеркване, Хеш, Шифриране, Маска, Персонализирано
Често задавани въпроси
Что такое деанонимизация на базе LLM?
Деанонимизация на базе LLM използва големи езикови модели за идентифициране на реални лица от анонимни или псевдонимни интернет публикации. За разлика от традиционните методи, които пропадат при мащаб, LLM могат да комбинират анализ на стил на писане (стилометрия), посочени факти, времеви шаблони и контекстуално разсъждение, за да съпоставят анонимни профили с истински идентичности. Изследвания показват точност до 68% при 90% точност, в сравнение с почти 0% за класическите методи.
Колко точна е деанонимизацията на базе LLM?
Изследвания демонстрират тревожно висока точност: 68% припомняне при 90% точност за съвпадение на Hacker News с LinkedIn, 67% за анализ на временност в Reddit (същия потребител във времето), 35% на интернет скала (1M+ кандидати). За заключение за атрибути GPT-4 постига 85% точност top-1, заключавайки лични атрибути като местоположение, доход, възраст и професия само от Reddit публикации.
Што е системата ESRC?
ESRC (Extract-Search-Reason-Calibrate) е четиристъпкова система за деанонимизация на LLM: (1) Извличане - LLM извлича идентифициращи факти от анонимни публикации, използвайки NLP, (2) Търсене - запитвания на публични бази данни като LinkedIn, използвайки извлечени факти и семантични вложения, (3) Разум - LLM разсъждава за съвпадения на кандидати, анализирайки последователност, (4) Калибриране - оценка на доверието за минимизиране на невярни позитиви, максимизирайки истински съвпадения.
Колко струва деанонимизацията на базе LLM?
Изследвания показват, че деанонимизацията на базе LLM струва $1-$4 на профил, което прави массовата деанонимизация икономически осъществима. За защитна анонимизация разходите са под $0.035 на коментар, използвайки GPT-4. Тази ниска цена позволява на държавни субекти, корпорации, преследователи и зли лица да провеждат мащабни атаки на приватност.
Какви типове лични данни могат да извлекат LLM от текст?
LLM отлично извличат: имейл адреси (100% точност с GPT-4), телефонни номера (98%), пощенски адреси и имена. Те също могат да направят заключение за явно посочени лични данни: местоположение, доход, възраст, пол, професия, образование, семейно положение и място на раждане от тънки текстови сигнали и модели на писане.
Що е атака за заключение на членството (MIA)?
Атаки за заключение на членството определят дали конкретни данни са използвани за обучение на AI модел. За LLM това разкрива дали личната ви информация е била в набора от данни за обучение. Изследвания показват, че имейл адреси и телефонни номера са особено уязвими. Новите вектори на атаки включват заключение на базата на токенизатор и анализ на сигналите на внимание (AttenMIA).
Как атаките чрез инжектиране на промпта изтичат лични данни?
Инжектирането на промпта манипулира LLM агенти, за да изтекат лични данни, наблюдавани по време на изпълнение на задача. В банкови сценарии атаките постигат ~20% процент на успех при експортиране на лични данни, със 15-50% намаление на полезност при атака. Докато подравняването на безопасност предотвратява изтичане на пароли, други лични данни остават уязвими.
Как може anonym.legal да помогне за защита от LLM атаки на приватност?
anonym.legal предоставя истинска анонимизация чрез: (1) Определяне на лични данни - 285+ типа сущности, включително имена, местоположения, дати, модели на писане, (2) Замяна - заменя истински лични данни с валидни по формат алтернативи, (3) Зачеркване - напълно премахва чувствителна информация, (4) Обратимо шифриране - AES-256-GCM за оторизиран достъп. За разлика от псевдонимиката, която побеждават LLM, истинската анонимизация премахва сигналите, които LLM използват за деанонимизация.
Защитете се от LLM атаки на приватност
Не разчитайте на псевдонимиката. Използвайте истинска анонимизация, за да защитите чувствителни документи, потребителски данни и комуникация от AI базирани атаки на идентификуване.