Nghiên Cứu Tấn Công Quyền Riêng Tư LLM
12 bài báo được xem xét ngang hàng chứng minh tại sao pseudonymity thất bại chống lại AI.
Bỏ danh sách, trích xuất PII, suy luận thành viên, các cuộc tấn công tiêm fompt — và cách bảo vệ chống lại chúng.
Danh Mục Tấn Công Quyền Riêng Tư
Bỏ Danh Sách
LLM khớp các bài đăng ẩn danh với các danh tính thực sử dụng phong cách viết, sự kiện và mô hình thời gian. Độ chính xác 68% với giá $1-$4 mỗi hồ sơ.
Suy Luận Thuộc Tính
LLM suy luận các thuộc tính cá nhân (vị trí, thu nhập, tuổi) từ văn bản ngay cả khi không được nêu. GPT-4 đạt độ chính xác top-1 85%.
Trích Xuất PII
Trích xuất thông tin cá nhân từ dữ liệu huấn luyện hoặc lời nhắc. Độ chính xác trích xuất email 100% với GPT-4. Tăng 5 lần với các cuộc tấn công tiên tiến.
Tiêm Fompt
Thao túng các tác nhân LLM để rò rỉ dữ liệu cá nhân trong khi thực hiện tác vụ. Tỷ lệ thành công tấn công khoảng 20% trong các tình huống ngân hàng.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Phát Hiện Chính
68% recall at 90% precision for deanonymization using ESRC framework
Phương Pháp Luận
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Khung Công Tác ESRC
LLM trích xuất các sự kiện xác định từ các bài đăng ẩn danh
Sử dụng các sự kiện để truy vấn cơ sở dữ liệu công cộng (LinkedIn, v.v.)
LLM lý luận về các trận đấu ứng cử viên
Chấm điểm độ tin cậy để giảm thiểu dương tính giả
Kết Quả Thực Nghiệm
| Tập Dữ Liệu | Thu Hồi @ 90% Độ Chính Xác | Ghi Chú |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Tác Động
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Tất Cả Bài Báo Nghiên Cứu
11 nghiên cứu được xem xét ngang hàng bổ sung về các cuộc tấn công quyền riêng tư LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, v.v. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Phát Hiện Chính
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, v.v. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Phát Hiện Chính
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, v.v. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Phát Hiện Chính
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, v.v. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Phát Hiện Chính
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Phát Hiện Chính
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, v.v. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Phát Hiện Chính
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, v.v. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Phát Hiện Chính
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, v.v. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Phát Hiện Chính
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Phát Hiện Chính
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Phát Hiện Chính
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Phát Hiện Chính
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Chiến Lược Phòng Thủ từ Nghiên Cứu
Cái Gì Không Hoạt Động
- ✗Pseudonymity — LLM đánh bại tên người dùng, xử lý, tên hiển thị
- ✗Chuyển đổi văn bản thành hình ảnh — Chỉ giảm nhẹ so với LLM đa phương thức
- ✗Căn chỉnh mô hình một mình — Hiện tại không hiệu quả trong việc ngăn chặn suy luận
- ✗Ẩn danh hóa văn bản đơn giản — Không đủ chống lại suy luận LLM
Cái Gì Hoạt Động
- ✓Ẩn danh hóa đối kháng — Giảm suy luận 66,3% → 45,3%
- ✓Quyền riêng tư khác biệt — Giảm độ chính xác PII 33,86% → 9,37%
- ✓Phòng thủ chống tiêm fompt — Hiệu quả nhất chống PIE dựa trên LLM
- ✓Loại bỏ/thay thế PII thực — Loại bỏ tín hiệu LLM sử dụng
Tại Sao Nghiên Cứu Này Quan Trọng
12 bài báo nghiên cứu này chứng minh một sự thay đổi cơ bản trong các mối đe dọa quyền riêng tư. Các phương pháp ẩn danh hóa truyền thống như tên giả, tên người dùng và thay đổi xử lý không còn là biện pháp bảo vệ đầy đủ chống lại những kẻ thù quyết tâm có quyền truy cập LLM.
Chỉ Số Mối Đe Dọa Chính
- Độ chính xác bỏ danh sách 68% ở 90% độ chính xác (Hacker News → LinkedIn)
- Độ chính xác suy luận thuộc tính 85% cho vị trí, thu nhập, tuổi, nghề nghiệp
- Trích xuất email 100% và trích xuất số điện thoại 98% (GPT-4)
- Tăng 5 lần rò rỉ PII với các cuộc tấn công đa truy vấn tinh vi
- Chi phí $1-$4 mỗi hồ sơ làm cho các cuộc tấn công quy mô lớn khả thi về kinh tế
Ai Đang Bị Nguy Hiểm
- Những người tố cáo & nhà hoạt động: Các bài đăng ẩn danh có thể được liên kết với danh tính thực
- Các chuyên gia: Hoạt động Reddit được liên kết với hồ sơ LinkedIn
- Bệnh nhân chăm sóc sức khỏe: Suy luận thành viên tiết lộ nếu dữ liệu ở trong huấn luyện
- Bất kỳ ai có bài đăng lịch sử: Nhiều năm dữ liệu có thể được bỏ danh sách hồi tưởng
Làm Thế Nào anonym.legal Giải Quyết Những Mối Đe Dọa Này
anonym.legal cung cấp ẩn danh hóa thực loại bỏ các tín hiệu LLM sử dụng:
- 285+ Loại Thực Thể: Tên, vị trí, ngày, điểm đánh dấu thời gian, định danh
- Gián đoạn Mô Hình Viết: Thay thế văn bản tiết lộ dấu ngón tay stylometric
- Mã Hóa Thuận Nghịch: AES-256-GCM cho các trường hợp yêu cầu truy cập được phép
- Nhiều Toán Tử: Thay Thế, Biên Tập, Hash, Mã Hóa, Mặt Nạ, Tùy Chỉnh
Các Câu Hỏi Thường Gặp
Bỏ danh sách dựa trên LLM là gì?
Bỏ danh sách dựa trên LLM sử dụng các mô hình ngôn ngữ lớn để xác định cá nhân thực từ các bài đăng trực tuyến ẩn danh hoặc tên giả. Không giống như các phương pháp truyền thống không thành công ở quy mô lớn, LLM có thể kết hợp phân tích phong cách viết (stylometry), sự kiện được nêu, mô hình thời gian và lý luận ngữ cảnh để khớp hồ sơ ẩn danh với danh tính thực. Nghiên cứu cho thấy độ chính xác tới 68% ở 90% độ chính xác, so với gần 0% cho các phương pháp cổ điển.
Bỏ danh sách LLM chính xác đến mức nào?
Nghiên cứu chứng minh các mức độ chính xác đáng lo ngại: thu hồi 68% ở 90% độ chính xác để khớp Hacker News với LinkedIn, 67% cho phân tích thời gian Reddit (cùng người dùng qua thời gian), 35% ở quy mô internet (1 triệu + ứng cử viên). Đối với suy luận thuộc tính, GPT-4 đạt độ chính xác top-1 85% suy luận các thuộc tính cá nhân như vị trí, thu nhập, tuổi và nghề nghiệp từ chỉ bài đăng Reddit.
Khung Công Tác ESRC là gì?
ESRC (Trích Xuất-Tìm Kiếm-Lý Luận-Hiệu Chỉnh) là khung bỏ danh sách LLM bốn bước: (1) Trích Xuất - LLM trích xuất các sự kiện xác định từ bài đăng ẩn danh bằng NLP, (2) Tìm Kiếm - truy vấn cơ sở dữ liệu công cộng như LinkedIn bằng các sự kiện được trích xuất và nhúng ngữ nghĩa, (3) Lý Luận - LLM lý luận về các trận đấu ứng cử viên phân tích sự nhất quán, (4) Hiệu Chỉnh - chấm điểm độ tin cậy để giảm thiểu dương tính giả trong khi tối đa hóa các trận đấu thực.
Bỏ danh sách dựa trên LLM có giá bao nhiêu?
Nghiên cứu cho thấy bỏ danh sách dựa trên LLM chi phí $1-$4 mỗi hồ sơ, làm cho bỏ danh sách quy mô lớn khả thi về kinh tế. Đối với ẩn danh hóa phòng thủ, chi phí là dưới $0,035 mỗi bình luận bằng GPT-4. Chi phí thấp này cho phép các bộ phận quốc gia, tập đoàn, người theo dõi và cá nhân độc hại thực hiện các cuộc tấn công quyền riêng tư quy mô lớn.
LLM có thể trích xuất những loại PII nào từ văn bản?
LLM xuất sắc trong việc trích xuất: địa chỉ email (độ chính xác 100% với GPT-4), số điện thoại (98%), địa chỉ gửi thư và tên. Họ cũng có thể suy luận PII không rõ ràng: vị trí, mức doanh thu, tuổi, giới tính, nghề nghiệp, giáo dục, tình trạng quan hệ và nơi sinh từ các tín hiệu văn bản tinh tế và mô hình viết.
Cuộc tấn công suy luận thành viên (MIA) là gì?
Các cuộc tấn công suy luận thành viên xác định xem dữ liệu cụ thể có được sử dụng để huấn luyện mô hình AI không. Đối với LLM, điều này tiết lộ nếu thông tin cá nhân của bạn ở trong tập dữ liệu huấn luyện. Nghiên cứu cho thấy địa chỉ email và số điện thoại đặc biệt dễ bị tổn thương. Các vectơ tấn công mới bao gồm suy luận dựa trên tokenizer và phân tích tín hiệu chú ý (AttenMIA).
Các cuộc tấn công tiêm fompt rò rỉ dữ liệu cá nhân như thế nào?
Tiêm fompt thao túng các tác nhân LLM để rò rỉ dữ liệu cá nhân quan sát được trong khi thực hiện tác vụ. Trong các tình huống tác nhân ngân hàng, các cuộc tấn công đạt tỷ lệ thành công khoảng 20% tại trích xuất dữ liệu cá nhân, với sự thoái hóa tiện ích 15-50% dưới cuộc tấn công. Trong khi căn chỉnh an toàn ngăn rò rỉ mật khẩu, dữ liệu cá nhân khác vẫn dễ bị tổn thương.
anonym.legal có thể giúp gì để bảo vệ chống lại các cuộc tấn công quyền riêng tư LLM?
anonym.legal cung cấp ẩn danh hóa thực thông qua: (1) Phát Hiện PII - 285+ loại thực thể bao gồm tên, vị trí, ngày, mô hình viết, (2) Thay Thế - thay thế PII thực bằng các lựa chọn hợp lệ định dạng, (3) Biên Tập - hoàn toàn loại bỏ thông tin nhạy cảm, (4) Mã Hóa Thuận Nghịch - AES-256-GCM cho truy cập được phép. Không giống như pseudonymity mà LLM đánh bại, ẩn danh hóa thực loại bỏ các tín hiệu LLM sử dụng để bỏ danh sách.
Bảo Vệ Chống Lại Các Cuộc Tấn Công Quyền Riêng Tư LLM
Đừng dựa vào pseudonymity. Sử dụng ẩn danh hóa thực để bảo vệ các tài liệu nhạy cảm, dữ liệu người dùng và truyền thông khỏi các cuộc tấn công xác định được hỗ trợ bởi AI.