מחקר התקפות פרטיות של LLM
12 מאמרים מעוברי ביקורת המדגימים מדוע פסידונימיות נכשלת מול בינה מלאכותית.
הסרת אנונימיות, חילוץ PII, היסקי חברות, התקפות הזרקת הנושא — וכיצד להגן מפניהן.
קטגוריות התקפות על פרטיות
הסרת אנונימיות
LLM תואמים הודעות אנונימיות לזהויות אמיתיות תוך שימוש בסגנון כתיבה, עובדות וסדרי זמן. דיוק של 68% ב-$1-$4 לפרופיל.
היסק תכונות
LLM מסיקים תכונות אישיות (מיקום, הכנסה, גיל) מטקסט גם כאשר לא מצוינות. GPT-4 משיג דיוק top-1 של 85%.
חילוץ PII
חילוץ מידע אישי מנתוני הדרכה או הנושאים. דיוק חילוץ דוא"ל של 100% עם GPT-4. עלייה של פי 5 עם התקפות מתקדמות.
הזרקת הנושא
מניפולציה של סוכני LLM לדלופים של נתונים אישיים במהלך ביצוע משימות. קצב הצלחת התקפה של ~20% בתרחישי בנקאות.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
הממצא העיקרי
68% recall at 90% precision for deanonymization using ESRC framework
מתודולוגיה
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
מסגרת ESRC
LLM חוצה עובדות מזהות מהודעות אנונימיות
משתמש בעובדות לשאילתת מסדי נתונים ציבוריים (LinkedIn וכו')
LLM מנמק לגבי התאמות המועמדים
ניקוד ביטחון להקטנת תוצאות חיוביות מזויפות
תוצאות ניסיוניות
| מערך נתונים | זכרון @ 90% דיוק | הערות |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
השלכות
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
כל מאמרי המחקר
11 מחקרים נוספים של מקרים שנעברו ביקורת על התקפות פרטיות של LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
ממצאים עיקריים
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
ממצאים עיקריים
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
ממצאים עיקריים
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
ממצאים עיקריים
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
ממצאים עיקריים
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
ממצאים עיקריים
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
ממצאים עיקריים
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
ממצאים עיקריים
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
ממצאים עיקריים
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
ממצאים עיקריים
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
ממצאים עיקריים
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
אסטרטגיות הגנה מהמחקר
מה לא עובד
- ✗פסידונימיה — LLM מנצחים שמות משתמשים, כינויים, שמות תצוגה
- ✗המרת טקסט לתמונה — ירידה קטנה בלבד מול LLM מולטימודליים
- ✗יישור מודל בלבד — כרגע לא יעיל בהפעלת מכשול להסקה
- ✗אנונימיזציה טקסט פשוטה — לא מספיקה מול נימוק LLM
מה עובד
- ✓אנונימיזציה שונה — מפחיתה הסקה 66.3% → 45.3%
- ✓פרטיות דיפרנציאלית — מפחיתה דיוק PII 33.86% → 9.37%
- ✓הגנה מפני הזרקת הנושא — היעילה ביותר מול LLM PIE
- ✓הסרה/החלפה אמיתית של PII — מסירה אותות ש-LLM משתמש בהם
מדוע מחקר זה חשוב
ה-12 מאמרי מחקר הללו מדגימים שינוי מהותי בהאיומים על פרטיות. גישות אנונימיזציה מסורתיות כמו פסידונימיה, שמות משתמשים וחלופות כינויים כבר אינן הגנה מספקת מפני אויבים נחושים בדעתם שיש להם גישה ל-LLM.
מדדי איום עיקריים
- דיוק הסרת אנונימיות של 68% ב-90% דיוק (Hacker News → LinkedIn)
- דיוק היסק תכונות של 85% למיקום, הכנסה, גיל, כתב.
- חילוץ דוא"ל של 100% וחילוץ מספר טלפון של 98% (GPT-4)
- עלייה בדלף PII פי 5 עם התקפות רב-שאילתה מתוחכמות
- עלות של $1-$4 לפרופיל הופכת התקפות בקנה מידה ענק למדיניות כלכלית
מי בסיכון
- משנפי צעקה פעילים: ניתן לחבר הודעות אנונימיות לזהויות אמיתיות
- אנשי מקצוע: פעילות Reddit קשורה לפרופילי LinkedIn
- חולים בתחום הבריאות: היסק חברות חושף אם נתונים היו בהדרכה
- כל אחד עם הודעות היסטוריות: שנים של נתונים יכולים להיות deanonymized באופן רטרואקטיבי
כיצד anonym.legal מתמודד עם איומים אלה
anonym.legal מספק אנונימיזציה אמיתית המסירה אותות ש-LLM משתמש בהם:
- 285+ סוגי ישויות: שמות, מיקומים, תאריכים, סימני זמן, מזהים
- הפרעה לתבנית הכתיבה: מחליפה טקסט החושף טביעות אצבע סטילומטריות
- הצפנה הפיכה: AES-256-GCM למקרים הדורשים גישה מורשית
- מפעילים מרובים: החלפה, עריכה, חשיש, הצפנה, מיסוך, מותאם אישית
שאלות נפוצות
מהי הסרת אנונימיות מבוססת LLM?
הסרת אנונימיות מבוססת LLM משתמשת במודלים שפה גדולים כדי לזהות אנשים אמיתיים מהודעות מקוונות אנונימיות או פסידונימיות. שלא כמו שיטות מסורתיות שנכשלות בקנה מידה, LLM יכול לשלב ניתוח סגנון כתיבה (סטילומטריה), עובדות מדווחות, דפוסי זמן וניכוי הקשרי כדי להתאים פרופילים אנונימיים לזהויות אמיתיות. מחקר מראה דיוק של עד 68% בדיוק של 90%, בהשוואה לקרוב ל-0% לשיטות קלאסיות.
כמה מדויקת היא הסרת אנונימיות של LLM?
מחקר מדגים רמות דיוק מדאיגות: זיכרון של 68% בדיוק של 90% להתאמה של Hacker News ל-LinkedIn, 67% לניתוח זמני Reddit (אותו משתמש לאורך זמן), 35% בקנה מידה אינטרנט (1M+ מועמדים). עבור היסק תכונות, GPT-4 משיג דיוק top-1 של 85% בהסקה של תכונות אישיות כמו מיקום, הכנסה, גיל ותפקיד מהודעות Reddit בלבד.
מהי מסגרת ESRC?
ESRC (Extract-Search-Reason-Calibrate) היא מסגרת תלת-שלבית להסרת אנונימיות של LLM: (1) חילוץ - LLM חוצה עובדות מזהות מהודעות אנונימיות תוך שימוש ב-NLP, (2) חיפוש - שואל מסדי נתונים ציבוריים כמו LinkedIn תוך שימוש בעובדות שנחצו והטמעות סמנטיות, (3) הנמקה - LLM מנמק לגבי התאמות המועמדים בניתוח עקביות, (4) כיול - ניקוד ביטחון להקטנת תוצאות חיוביות מזויפות ולהגדלת התאמות אמיתיות.
כמה עולה הסרת אנונימיות של LLM?
מחקר מראה כי הסרת אנונימיות מבוססת LLM עולה $1-$4 לפרופיל, מה שהופך הסרת אנונימיות בקנה מידה ענק למדיניות כלכלית. עבור אנונימיזציה דפנסיבית, העלויות הן מתחת ל-$0.035 לכל הערה באמצעות GPT-4. עלויות נמוכות אלה מאפשרות שחקנים במדינה, תאגידים, stalkers וציבור רע לביצוע התקפות פרטיות בקנה מידה ענק.
איזה סוגי PII יכול LLM לחלץ מטקסט?
LLM מצטיינים בחילוץ: כתובות דוא"ל (דיוק של 100% עם GPT-4), מספרי טלפון (98%), כתובות דוא"ל ושמות. הם יכולים גם להסיק PII שאינו מפורש: מיקום, רמת הכנסה, גיל, מין, תפקיד, חינוך, מצב משפחתי ומקום לידה מרמזים טקסט עדין וסדרי כתיבה.
מהו התקפה על היסק חברות (MIA)?
התקפות היסק חברות קובעות אם נתונים ספציפיים שימשו להדרכה של דגם AI. עבור LLM, זה חושף אם המידע האישי שלך היה בנתוני הדרכה. מחקר מראה כי כתובות דוא"ל ומספרי טלפון פגיעים במיוחד. וקטורי התקפה חדשים כוללים היסק מבוסס tokenizer וניתוח אותות תשומת לב (AttenMIA).
כיצד התקפות הזרקת הנושא דוגלות בנתונים אישיים?
הזרקת הנושא מטפלת בסוכני LLM בכדי לדלוף נתונים אישיים שנצפו במהלך ביצוע משימות. בתרחישי סוכן בנקאי, התקפות משיגות קצב הצלחה של ~20% בחילוץ נתונים אישיים, עם 15-50% השפלה בשימושיות תחת התקפה. בעוד שיישור בטיחותי מונע דלף סיסמה, נתונים אישיים אחרים נשארים פגיעים.
כיצד יכול anonym.legal לעזור להגן מפני התקפות פרטיות של LLM?
anonym.legal מספק אנונימיזציה אמיתית דרך: (1) זיהוי PII - 285+ סוגי ישויות כולל שמות, מיקומים, תאריכים, תבניות כתיבה, (2) החלפה - מחליפה PII אמיתי בחלופיים תקפים בפורמט, (3) עריכה - מסירה לחלוטין מידע רגיש, (4) הצפנה הפיכה - AES-256-GCM עבור גישה מורשית. שלא כמו פסידונימיה, שאותה LLM מנצחים, אנונימיזציה אמיתית מסירה אותות ש-LLM משתמש בהם להסרת אנונימיות.
התגנו מפני התקפות פרטיות של LLM
אל תסתמך על פסידונימיה. השתמש באנונימיזציה אמיתית כדי להגן על מסמכים רגישים, נתוני משתמשים וקשר מפני התקפות זיהוי המונעות על ידי בינה מלאכותית.