LLM プライバシー攻撃研究
12 の査読済み研究論文で、なぜ仮名性が AI に対して失敗するのかを実証しています。
匿名化の破壊、PII 抽出、メンバーシップ推論、プロンプト注入攻撃 — および防御方法。
プライバシー攻撃カテゴリ
匿名化の破壊
LLM は执筆スタイル、事実、時間パターンを使用して匿名の投稿を実名と照合します。プロフィールあたり $1～$4 で 68% の精度。
属性推論
LLM は記述されていない場合でも、テキストから個人属性（場所、収入、年齢）を推測します。GPT-4 は 85% の上位 1 精度を達成します。
PII 抽出
トレーニングデータまたはプロンプトから個人情報を抽出します。GPT-4 で 100% のメール抽出精度。高度な攻撃で 5 倍増加。
プロンプト注入
LLM エージェントを操作して、タスク実行中に個人データを漏らします。銀行シナリオで約 20% の攻撃成功率。
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
主な発見
68% recall at 90% precision for deanonymization using ESRC framework
方法論
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC フレームワーク
LLM が匿名の投稿から識別情報を抽出
抽出された事実を使用して公開データベース（LinkedIn など）をクエリ
LLM が候補マッチについて推論
誤検知を最小化するための信頼度スコアリング
実験結果
| データセット | リコール @ 90% 適合率 | 注記 |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
含意
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
全研究論文
LLM プライバシー攻撃に関する 11 の追加査読済み研究
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, ら (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
主な発見
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, ら (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
主な発見
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, ら (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
主な発見
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, ら (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
主な発見
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
主な発見
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, ら (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
主な発見
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, ら (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
主な発見
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, ら (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
主な発見
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
主な発見
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
主な発見
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
主な発見
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
研究からの防御戦略
機能しないもの
- ✗仮名化 — LLM はユーザー名、ハンドル、表示名を破壊
- ✗テキスト画像変換 — マルチモーダル LLM に対してわずかな減少のみ
- ✗モデルアラインメント単独 — 推論の防止には現在無効
- ✗単純なテキスト匿名化 — LLM 推論に対して不十分
機能するもの
- ✓敵対的匿名化 — 推論を 66.3% → 45.3% に削減
- ✓差分プライバシー — PII 精度を 33.86% → 9.37% に削減
- ✓プロンプト注入防御 — LLM ベースの PIE に対して最も効果的
- ✓真の PII 削除/置換 — LLM が使用するシグナルを削除
この研究が重要な理由
これら 12 の研究論文は、プライバシー脅威の根本的なシフトを示しています。仮名化、ユーザー名、ハンドル変更などの従来の匿名化アプローチは、LLM へのアクセスを持つ決定的な攻撃者に対して保護として不十分ではなくなっています。
主要な脅威メトリック
- 90% 適合率での 68% 匿名化破壊精度（Hacker News → LinkedIn）
- 場所、収入、年齢、職業の 85% 属性推論精度
- 100% メール抽出と 98% 電話番号抽出（GPT-4）
- 高度なマルチクエリ攻撃での 5 倍の PII 漏洩増加
- プロフィールあたり $1～$4 のコストで大規模攻撃が経済的に実行可能
リスク対象者は誰か
- 告発者とアクティビスト：匿名の投稿は実名にリンクされる可能性があります
- 専門家：Reddit アクティビティは LinkedIn プロファイルにリンク
- 医療患者：メンバーシップ推論はデータがトレーニングに含まれたかを明らかにします
- 歴史的な投稿を持つ誰でも：数年分のデータは遡及的に匿名化を破壊される可能性があります
anonym.legal がこれらの脅威に対処する方法
anonym.legal は LLM が使用するシグナルを削除する真の匿名化を提供します：
- 285+ エンティティタイプ：名前、場所、日付、時間マーカー、識別子
- 執筆パターン破壊：文体的フィンガープリントを明らかにするテキストを置換
- 可逆暗号化：認可されたアクセスが必要な場合のための AES-256-GCM
- 複数のオペレーター：置換、除外、ハッシュ、暗号化、マスク、カスタム
よくある質問
LLM ベースの匿名化破壊とは何ですか？
LLM ベースの匿名化破壊は、大規模言語モデルを使用して匿名または仮名のオンライン投稿から実在の個人を特定します。従来の方法がスケールで失敗する場合とは異なり、LLM は執筆スタイル分析（文体分析）、述べられた事実、時間パターン、および文脈推論を組み合わせて、匿名のプロフィールを実名と照合できます。研究では古典的な方法が 0% に近い場合と比較して 90% 精度で最大 68% の精度を示しています。
LLM 匿名化破壊の精度はどのくらいですか？
研究は驚くべき精度レベルを示しています：Hacker News から LinkedIn へのマッチング（同じユーザーが時系列）で 90% 適合率での 68% リコール、Reddit 時間分析で 67%、インターネット規模（100 万以上の候補）で 35%。属性推論では、GPT-4 は Reddit の投稿だけから場所、収入、年齢、職業などの個人属性を推測する際に 85% の上位 1 精度を達成します。
ESRC フレームワークとは何ですか？
ESRC（Extract-Search-Reason-Calibrate）は、4 ステップの LLM 匿名化破壊フレームワークです：（1）抽出 - LLM が NLP を使用して匿名の投稿から識別情報を抽出、（2）検索 - 抽出された事実とセマンティック埋め込みを使用して LinkedIn などの公開データベースをクエリ、（3）推論 - LLM が候補マッチの一貫性を分析して推論、（4）キャリブレーション - 誤検知を最小化しながら真のマッチを最大化するための信頼度スコアリング。
LLM 匿名化破壊のコストはどのくらいですか？
研究では LLM ベースの匿名化破壊のコストは プロフィールあたり $1～$4 であり、大規模な匿名化破壊が経済的に実行可能にしています。防御的な匿名化の場合、GPT-4 を使用したコメントあたり $0.035 未満です。この低いコストにより、国家行為者、企業、ストーカー、悪意のある個人が大規模なプライバシー攻撃を実行できるようになります。
LLM はテキストからどのタイプの PII を抽出できますか？
LLM は次の抽出に優れています：メールアドレス（GPT-4 で 100% 精度）、電話番号（98%）、メールアドレス、名前。また、推測される非明示的 PII も推測できます：場所、収入レベル、年齢、性別、職業、教育、関係ステータス、および微妙なテキストキューと執筆パターンからの出生地。
メンバーシップ推論攻撃（MIA）とは何ですか？
メンバーシップ推論攻撃は、特定のデータが AI モデルのトレーニングに使用されたかどうかを判定します。LLM の場合、これはあなたの個人情報がトレーニングデータセットに含まれていたかどうかを明らかにします。研究では、メールアドレスと電話番号が特に脆弱であることを示しています。新しい攻撃ベクトルには、トークナイザーベースの推論と注意信号分析（AttenMIA）が含まれます。
プロンプト注入攻撃はどのように個人データを漏らしますか？
プロンプト注入は LLM エージェントを操作してタスク実行中に観察された個人データを漏らします。銀行エージェントシナリオでは、攻撃は個人データの流出で約 20% の成功率を達成し、ユーティリティの低下は 15～50% です。安全アラインメントはパスワード漏洩を防ぎますが、その他の個人データは脆弱のままです。
anonym.legal はどのように LLM プライバシー攻撃から保護するのに役立ちますか？
anonym.legal は以下を通じて真の匿名化を提供します：（1）PII 検出 - 名前、場所、日付、執筆パターンを含む 285+ エンティティタイプ、（2）置換 - 実の PII をフォーマット有効な代替品で置換、（3）除外 - 機密情報を完全に削除、（4）可逆暗号化 - 認可されたアクセスの場合の AES-256-GCM。LLM が匿名化破壊に使用するシグナルを削除する仮名化とは異なり、真の匿名化は LLM が使用するシグナルを削除します。