تحقیقات حملات حریم خصوصی LLM
۱۲ مقاله تحقیقی بررسیشده توسط داوران نشاندهنده اینکه چرا شبهنامی در برابر هوش مصنوعی ناکام است.
حذف شناسایی، استخراج PII، حملات بازنشانی عضویت، حملات تزریق فوری — و نحوه محافظت در برابر آنها.
دستههای حملات حریم خصوصی
حذف شناسایی
LLMها پستهای ناشناس را با استفاده از سبک نوشتار، واقعیتها و الگوهای زمانی با هویتهای واقعی تطابق میدهند. دقت ۶۸٪ با هزینه ۱ تا ۴ دلار به ازای هر پروفایل.
استنتاج ویژگی
LLMها ویژگیهای شخصی (مکان، درآمد، سن) را از متن حتی زمانی که ذکر نشده حدس میزنند. GPT-4 دقت top-1 به میزان ۸۵٪ را حقق میکند.
استخراج PII
استخراج اطلاعات شخصی از دادههای آموزشی یا فوری. دقت استخراج ایمیل ۱۰۰٪ با GPT-4. افزایش ۵ برابری با حملات پیشرفته.
تزریق فوری
دستکاری عوامل LLM برای نشت دادههای شخصی در حین اجرای وظیفه. نرخ موفقیت حملات حدود ۲۰٪ در سناریوهای بانکی.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
یافتهٔ کلیدی
68% recall at 90% precision for deanonymization using ESRC framework
روششناسی
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
چارچوب ESRC
LLM واقعیتهای شناساییکننده را از پستهای ناشناس استخراج میکند
استفاده از واقعیتها برای جستجوی پایگاههای داده عمومی (LinkedIn و غیره)
LLM در مورد تطابقهای نامزد استدلال میکند
امتیازدهی اطمینان برای کاهش مثبتهای کاذب
نتایج تجربی
| مجموعهٔ داده | بازیابی @ دقت ۹۰٪ | یادداشتها |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
پیامدها
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
تمام مقالات تحقیقی
۱۱ مطالعهٔ تحقیقی بررسیشدهٔ اضافی در مورد حملات حریم خصوصی LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, و دیگران (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
یافتههای کلیدی
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, و دیگران (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
یافتههای کلیدی
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, و دیگران (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
یافتههای کلیدی
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, و دیگران (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
یافتههای کلیدی
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
یافتههای کلیدی
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, و دیگران (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
یافتههای کلیدی
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, و دیگران (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
یافتههای کلیدی
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, و دیگران (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
یافتههای کلیدی
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
یافتههای کلیدی
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
یافتههای کلیدی
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
یافتههای کلیدی
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
استراتژیهای دفاعی از تحقیقات
آنچه کار نمیکند
- ✗شبهنامی — LLMها نامهای کاربری، دستهبندیها، نامهای نمایشی را شکست میدهند
- ✗تبدیل متن به تصویر — فقط کاهش جزئی در برابر LLMهای چندحالتی
- ✗تنظیم مدل به تنهایی — در حال حاضر غیرموثر در جلوگیری از استنتاج
- ✗ناشناسسازی متن ساده — ناکافی در برابر استدلال LLM
آنچه کار میکند
- ✓ناشناسسازی تخاصمی — استنتاج را ۶۶.۳٪ → ۴۵.۳٪ کاهش میدهد
- ✓حریم خصوصی دیفرانسیل — دقت PII را ۳۳.۸۶٪ → ۹.۳۷٪ کاهش میدهد
- ✓دفاع در برابر تزریق فوری — بیشترین تاثیر در برابر PIE مبتنی بر LLM
- ✓حذف/جایگزینی واقعی PII — سیگنالهایی را که LLMها استفاده میکنند حذف میکند
چرا این تحقیقات اهمیت دارند
این ۱۲ مقالهٔ تحقیقی تغییر بنیادی در تهدیدات حریم خصوصی را نشان میدهند. روشهای ناشناسسازی سنتی مانند شبهنامها، نامهای کاربری و تغییرات دستهبندی دیگر محافظت کافی در برابر مخالفین مصمم با دسترسی به LLMها نیستند.
معیارهای تهدید کلیدی
- دقت حذف شناسایی ۶۸٪ با دقت ۹۰٪ (Hacker News → LinkedIn)
- دقت استنتاج ویژگی ۸۵٪ برای مکان، درآمد، سن، شغل
- استخراج ایمیل ۱۰۰٪ و استخراج شماره تلفن ۹۸٪ (GPT-4)
- افزایش ۵ برابری در نشت PII با حملات چند پرسشهای پیشرفته
- هزینهٔ ۱ تا ۴ دلار به ازای هر پروفایل حملات گسترده را از نظر اقتصادی ممکن میکند
چه کسانی در خطر هستند
- نشریان درونسازمانی و فعالین: پستهای ناشناس میتوانند با هویتهای واقعی پیوند خورده باشند
- حرفهایها: فعالیت Reddit با پروفایلهای LinkedIn مرتبط است
- بیماران بهداشتی: بازنشانی عضویت آشکار میکند که آیا دادهها در آموزش بودند
- هرکسی با پستهای تاریخی: سالها داده را میتوان به صورت عقبماندگی ناشناس کرد
چگونه anonym.legal این تهدیدات را مورد توجه قرار میدهد
anonym.legal ناشناسسازی واقعی را فراهم میکند که سیگنالهایی را که LLMها استفاده میکنند حذف میکند:
- ۲۶۰+ نوع موجود: نامها، مکانها، تاریخها، نشانگرهای زمانی، شناسهها
- اختلال الگوی نوشتار: متنی را جایگزین میکند که اثرانگشت stylometric را آشکار میکند
- رمزگذاری برگشتپذیر: AES-256-GCM برای موارد نیاز به دسترسی مجاز
- عوامل متعدد: جایگزینی، سانسور، Hashing، رمزگذاری، نقاب، سفارشی
سوالات متکرر
حذف شناسایی مبتنی بر LLM چیست؟
حذف شناسایی مبتنی بر LLM از مدلهای زبان بزرگ استفاده میکند تا افراد واقعی را از پستهای آنلاین ناشناس یا شبهنام شناسایی کند. بر خلاف روشهای سنتی که در مقیاس بزرگ ناکام میشوند، LLMها میتوانند تحلیل سبک نوشتار (stylometry)، واقعیتهای بیانشده، الگوهای زمانی و استدلال متنی را برای تطابق پروفایلهای ناشناس با هویتهای واقعی ترکیب کنند. تحقیقات دقت تا ۶۸٪ را نشان میدهند با دقت ۹۰٪، در مقابل تقریباً ۰٪ برای روشهای کلاسیک.
دقت حذف شناسایی LLM چقدر است؟
تحقیقات سطح دقت نگرانکنندهٔ را نشان میدهند: بازیابی ۶۸٪ با دقت ۹۰٪ برای تطابق Hacker News با LinkedIn، ۶۷٪ برای تحلیل زمانی Reddit (همان کاربر در طول زمان)، ۳۵٪ در مقیاس اینترنت (۱M+ نامزد). برای استنتاج ویژگی، GPT-4 دقت top-1 به میزان ۸۵٪ برای استنتاج ویژگیهای شخصی مانند مکان، درآمد، سن و شغل از پستهای تنها Reddit را دستیاب میکند.
چارچوب ESRC چیست؟
ESRC (استخراج-جستجو-استدلال-کالیبراسیون) یک چارچوب حذف شناسایی LLM چهار مرحلهای است: (۱) استخراج - LLM واقعیتهای شناساییکننده را از پستهای ناشناس با استفاده از NLP استخراج میکند، (۲) جستجو - جستجوی پایگاههای داده عمومی مانند LinkedIn با استفاده از واقعیتهای استخراجشده و جاسازیهای semantically، (۳) استدلال - LLM در مورد تطابقهای نامزد استدلال میکند و تناسق را تجزیه میکند، (۴) کالیبراسیون - امتیازدهی اطمینان برای کاهش مثبتهای کاذب و بیشینه کردن تطابقهای واقعی.
هزینهٔ حذف شناسایی LLM چقدر است؟
تحقیقات نشان میدهند که هزینهٔ حذف شناسایی مبتنی بر LLM ۱ تا ۴ دلار به ازای هر پروفایل است، که حذف شناسایی انبوه را از نظر اقتصادی ممکن میکند. برای ناشناسسازی دفاعی، هزینهها کمتر از ۰.۰۳۵ دلار به ازای هر نظر با استفاده از GPT-4 است. این هزینهٔ پایین بازیگران دولتی، شرکتها، تعقیبکنندگان و افراد بدنیت را قادر میسازد حملات حریم خصوصی در مقیاس بزرگ انجام دهند.
LLMها چه نوع PIIهایی را میتوانند از متن استخراج کنند؟
LLMها در استخراج آنچه بر بهتری عمل میکنند: آدرسهای ایمیل (دقت ۱۰۰٪ با GPT-4)، شمارههای تلفن (۹۸٪)، آدرسهای پستی و نامها. آنها میتوانند همچنین PII غیرصریح را استنتاج کنند: مکان، سطح درآمد، سن، جنسیت، شغل، تحصیلات، وضعیت رابطه و محل تولد از نشانههای متنی ظریف و الگوهای نوشتار.
حملهٔ بازنشانی عضویت (MIA) چیست؟
حملات بازنشانی عضویت تعیین میکنند که آیا دادههای خاص برای آموزش یک مدل هوش مصنوعی استفاده شدهاند. برای LLMها، این آشکار میکند که آیا اطلاعات شخصی شما در مجموعهٔ دادههای آموزشی بودند. تحقیقات نشان میدهند که آدرسهای ایمیل و شمارههای تلفن بهویژه آسیبپذیر هستند. بردار حملات جدید شامل استنتاج مبتنی بر توکنگذار و تجزیهٔ سیگنال توجه است (AttenMIA).
حملات تزریق فوری چگونه دادههای شخصی را نشت میدهند؟
تزریق فوری عوامل LLM را دستکاری میکند تا دادههای شخصی مشاهدهشده در حین اجرای وظیفه را نشت دهند. در سناریوهای عامل بانکی، حملات نرخ موفقیت حدود ۲۰٪ برای استخراج دادههای شخصی، با تخریب سودمندی ۱۵-۵۰٪ دستیاب میکند. در حالی که تنظیمهای ایمنی نشت کلمهٔ عبور را جلوگیری میکند، دادههای شخصی دیگر آسیبپذیر باقی میماند.
anonym.legal چگونه میتواند در برابر حملات حریم خصوصی LLM محافظت کند؟
anonym.legal ناشناسسازی واقعی را از طریق: (۱) تشخیص PII - ۲۶۰+ نوع موجود شامل نامها، مکانها، تاریخها، الگوهای نوشتار، (۲) جایگزینی - جایگزین کردن PII واقعی با گزینههای معتبر قالب، (۳) سانسور - حذف کامل اطلاعات حساس، (۴) رمزگذاری برگشتپذیر - AES-256-GCM برای دسترسی مجاز فراهم میکند. بر خلاف شبهنامی که LLMها شکست میدهند، ناشناسسازی واقعی سیگنالهایی را که LLMها برای حذف شناسایی استفاده میکنند حذف میکند.
محافظت در برابر حملات حریم خصوصی LLM
بر شبهنامی تکیه نکنید. از ناشناسسازی واقعی برای محافظت از اسناد حساس، دادههای کاربر و ارتباطات از حملات شناسایی توسط هوش مصنوعی استفاده کنید.