بحث هجمات الخصوصية على LLM
12 ورقة يراجعها الأقران تظهر سبب فشل الإخفاء التام ضد الذكاء الاصطناعي.
إزالة الهوية، استخراج PII، استدلال العضوية، هجمات حقن الموجه — وكيفية الحماية منها.
فئات هجمات الخصوصية
إزالة الهوية
تطابق LLMs المنشورات المجهولة مع الهويات الحقيقية باستخدام نمط الكتابة والحقائق والأنماط الزمنية. دقة 68% بتكلفة 1-4 دولارات لكل ملف.
استدلال الخصائص
يستدل LLMs بالخصائص الشخصية (الموقع والدخل والعمر) من النص حتى عندما لا تكون موضحة. يحقق GPT-4 دقة top-1 بنسبة 85%.
استخراج PII
استخراج المعلومات الشخصية من بيانات التدريب أو الموجهات. دقة استخراج البريد الإلكتروني بنسبة 100% مع GPT-4. زيادة 5 مرات مع الهجمات المتقدمة.
حقن الموجه
التلاعب بوكلاء LLM لتسريب البيانات الشخصية أثناء تنفيذ المهمة. معدل نجاح هجوم حوالي 20% في سيناريوهات الخدمات المصرفية.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
النتيجة الرئيسية
68% recall at 90% precision for deanonymization using ESRC framework
المنهجية
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
إطار عمل ESRC
يستخرج LLM الحقائق المحددة من المنشورات المجهولة
استخدام الحقائق للاستعلام عن قواعد البيانات العامة (LinkedIn وغيرها)
يستدل LLM حول مطابقات المرشحين
درجات الثقة لتقليل الإيجابيات الخاطئة
النتائج التجريبية
| مجموعة البيانات | Recall @ دقة 90% | ملاحظات |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
الآثار
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
جميع أوراق البحث
11 دراسة إضافية يراجعها الأقران حول هجمات الخصوصية على LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, وآخرون (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
النتائج الرئيسية
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, وآخرون (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
النتائج الرئيسية
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, وآخرون (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
النتائج الرئيسية
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, وآخرون (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
النتائج الرئيسية
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
النتائج الرئيسية
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, وآخرون (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
النتائج الرئيسية
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, وآخرون (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
النتائج الرئيسية
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, وآخرون (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
النتائج الرئيسية
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
النتائج الرئيسية
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
النتائج الرئيسية
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
النتائج الرئيسية
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
استراتيجيات الدفاع القائمة على البحث
ما لا ينجح
- ✗الإخفاء التام — يتغلب LLMs على أسماء المستخدمين والمقابض وأسماء العرض
- ✗تحويل النص إلى صورة — انخفاض طفيف فقط ضد LLMs متعددة الأنماط
- ✗محاذاة النموذج وحدها — غير فعالة حالياً في منع الاستدلال
- ✗الإخفاء البسيط للنص — غير كافٍ ضد استدلال LLM
ما ينجح
- ✓الإخفاء الخصومي — يقلل الاستدلال من 66.3% إلى 45.3%
- ✓الخصوصية التفاضلية — تقلل دقة PII من 33.86% إلى 9.37%
- ✓دفاع حقن الموجه — الأكثر فعالية ضد PIE القائم على LLM
- ✓إزالة/استبدال PII الحقيقي — تزيل الإشارات التي يستخدمها LLMs
لماذا يهم هذا البحث
تظهر هذه الأوراق البحثية الـ 12 تحولاً جذرياً في تهديدات الخصوصية. النهج التقليدية للإخفاء مثل الأسماء المستعارة وأسماء المستخدمين وتغيير المقابض لم تعد حماية كافية ضد الخصوم المصممين الذين لديهم إمكانية الوصول إلى LLMs.
مؤشرات التهديد الرئيسية
- دقة إزالة الهوية بنسبة 68% عند دقة 90% (Hacker News → LinkedIn)
- دقة استدلال الخصائص بنسبة 85% للموقع والدخل والعمر والمهنة
- دقة استخراج البريد الإلكتروني 100% واستخراج رقم الهاتف 98% (GPT-4)
- زيادة 5 مرات في تسرب PII مع الهجمات المتعددة الاستعلامات المتطورة
- تكلفة 1-4 دولارات لكل ملف تجعل الهجمات الضخمة ممكنة من الناحية الاقتصادية
من في الخطر
- المبلغون عن المخالفات والنشطاء: يمكن ربط المنشورات المجهولة بالهويات الحقيقية
- المحترفون: يمكن ربط نشاط Reddit بملفات LinkedIn
- مرضى الرعاية الصحية: استدلال العضوية يكشف ما إذا كانت البيانات في التدريب
- أي شخص لديه منشورات تاريخية: يمكن إزالة هوية سنوات من البيانات بأثر رجعي
كيف يعالج anonym.legal هذه التهديدات
توفر anonym.legal إخفاء حقيقياً يزيل الإشارات التي يستخدمها LLMs:
- 285+ نوع كيان: الأسماء والمواقع والتواريخ والعلامات الزمنية والمعرفات
- تعطيل نمط الكتابة: استبدال النص الذي يكشف بصمات أسلوبية
- التشفير القابل للعكس: AES-256-GCM للحالات التي تتطلب إمكانية وصول مصرح بها
- مشغلون متعددون: استبدال وتحرير وهاش وتشفير وقناع ومخصص
الأسئلة الشائعة
ما هي إزالة الهوية القائمة على LLM؟
تستخدم إزالة الهوية القائمة على LLM نماذج اللغة الكبيرة لتحديد الأفراد الحقيقيين من المنشورات المجهولة أو المخفية على الإنترنت. بخلاف الطرق التقليدية التي تفشل على نطاق واسع، يمكن لـ LLMs دمج تحليل نمط الكتابة (القياس الأسلوبي) والحقائق المذكورة والأنماط الزمنية والاستدلال السياقي لمطابقة الملفات الشخصية المجهولة بالهويات الحقيقية. يُظهر البحث دقة تصل إلى 68% عند دقة 90%، مقابل ما يقرب من 0% للطرق الكلاسيكية.
ما مدى دقة إزالة الهوية القائمة على LLM؟
يوضح البحث مستويات دقة مقلقة: استرجاع 68% عند دقة 90% لمطابقة Hacker News إلى LinkedIn، 67% لتحليل Reddit الزمني (نفس المستخدم بمرور الوقت)، 35% على نطاق الإنترنت (أكثر من 1 مليون مرشح). بالنسبة لاستدلال الخصائص، يحقق GPT-4 دقة top-1 بنسبة 85% في استدلال الخصائص الشخصية مثل الموقع والدخل والعمر والمهنة من منشورات Reddit وحدها.
ما هو إطار عمل ESRC؟
ESRC (استخراج-بحث-استدلال-معايرة) هو إطار عمل إزالة هوية LLM بأربع خطوات: (1) استخراج - يستخرج LLM الحقائق المحددة من المنشورات المجهولة باستخدام NLP، (2) بحث - يستعلم عن قواعس البيانات العامة مثل LinkedIn باستخدام الحقائق المستخرجة والتضمينات الدلالية، (3) استدلال - يستدل LLM حول مطابقات المرشحين بتحليل الاتساق، (4) معايرة - درجات الثقة لتقليل الإيجابيات الخاطئة مع تعظيم المطابقات الحقيقية.
ما مقدار تكلفة إزالة الهوية القائمة على LLM؟
يُظهر البحث أن تكلفة إزالة الهوية القائمة على LLM تتراوح بين 1-4 دولارات لكل ملف شخصي، مما يجعل إزالة الهوية الضخمة ممكنة من الناحية الاقتصادية. بالنسبة للإخفاء الدفاعي، التكاليف أقل من 0.035 دولار لكل تعليق باستخدام GPT-4. تمكن هذه التكلفة المنخفضة الجهات الحكومية والشركات والمتتبعين والأفراد الخبثاء من إجراء هجمات خصوصية واسعة النطاق.
ما أنواع PII التي يمكن لـ LLMs استخراجها من النص؟
تتفوق LLMs في استخراج: عناوين البريد الإلكتروني (دقة 100% مع GPT-4) وأرقام الهواتف (98%) والعناوين البريدية والأسماء. يمكنها أيضاً استدلال PII غير الصريح: الموقع ومستوى الدخل والعمر والجنس والمهنة والتعليم والحالة العاطفية ومكان الولادة من الإشارات النصية الدقيقة وأنماط الكتابة.
ما هي هجمات استدلال العضوية (MIA)؟
تحدد هجمات استدلال العضوية ما إذا تم استخدام بيانات معينة في تدريب نموذج ذكاء اصطناعي. بالنسبة لـ LLMs، هذا يكشف ما إذا كانت معلوماتك الشخصية في مجموعة بيانات التدريب. يُظهر البحث أن عناوين البريد الإلكتروني وأرقام الهواتف معرضة بشكل خاص للخطر. تتضمن متجهات الهجوم الجديدة استدلال قائم على المرمزات وتحليل إشارة الانتباه (AttenMIA).
كيف تسرب هجمات حقن الموجه البيانات الشخصية؟
يتلاعب حقن الموجه بوكلاء LLM لتسريب البيانات الشخصية المرصودة أثناء تنفيذ المهمة. في سيناريوهات وكيل البنك، تحقق الهجمات معدل نجاح حوالي 20% في تسريب البيانات الشخصية، مع تدهور الفائدة بنسبة 15-50%. بينما تمنع محاذاة السلامة تسريب كلمات المرور، تظل البيانات الشخصية الأخرى عرضة للخطر.
كيف يمكن لـ anonym.legal أن تساعد في الحماية من هجمات الخصوصية على LLM؟
توفر anonym.legal إخفاء حقيقياً من خلال: (1) كشف PII - 285+ نوع كيان بما في ذلك الأسماء والمواقع والتواريخ وأنماط الكتابة، (2) الاستبدال - استبدال PII الحقيقي ببدائل صحيحة التنسيق، (3) التحرير - إزالة المعلومات الحساسة تماماً، (4) التشفير القابل للعكس - AES-256-GCM للوصول المصرح به. بخلاف الإخفاء التام الذي يتغلب عليه LLMs، يزيل الإخفاء الحقيقي الإشارات التي يستخدمها LLMs لإزالة الهوية.
الحماية من هجمات الخصوصية على LLM
لا تعتمد على الإخفاء التام. استخدم الإخفاء الحقيقي لحماية المستندات الحساسة وبيانات المستخدمين والاتصالات من هجمات الضد القائمة على الذكاء الاصطناعي.