Penelitian Serangan Privasi LLM
12 makalah penelitian yang ditinjau oleh rekan sejawat menunjukkan mengapa pseudonymity gagal melawan AI.
Deanonimisasi, ekstraksi PII, inferensi keanggotaan, serangan injeksi prompt — dan cara melindungi diri.
Kategori Serangan Privasi
Deanonimisasi
LLM mencocokkan posting anonim dengan identitas nyata menggunakan gaya tulisan, fakta, dan pola temporal. Akurasi 68% dengan harga $1-$4/profil.
Inferensi Atribut
LLM menyimpulkan atribut pribadi (lokasi, pendapatan, usia) dari teks meskipun tidak dinyatakan. GPT-4 mencapai akurasi top-1 85%.
Ekstraksi PII
Mengekstrak informasi pribadi dari data pelatihan atau prompt. Akurasi ekstraksi email 100% dengan GPT-4. Peningkatan 5x dengan serangan canggih.
Injeksi Prompt
Memanipulasi agen LLM untuk membocorkan data pribadi selama eksekusi tugas. Tingkat kesuksesan serangan ~20% pada skenario perbankan.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Temuan Utama
68% recall at 90% precision for deanonymization using ESRC framework
Metodologi
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Kerangka ESRC
LLM mengekstrak fakta pengidentifikasi dari posting anonim
Menggunakan fakta untuk menanyakan database publik (LinkedIn, dll.)
LLM memberikan alasan tentang kecocokan kandidat
Penilaian kepercayaan untuk meminimalkan positif palsu
Hasil Eksperimental
| Dataset | Recall @ Akurasi 90% | Catatan |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implikasi
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Semua Makalah Penelitian
11 studi tambahan yang ditinjau oleh rekan sejawat tentang serangan privasi LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, dkk. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Temuan Utama
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, dkk. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Temuan Utama
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, dkk. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Temuan Utama
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, dkk. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Temuan Utama
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Temuan Utama
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, dkk. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Temuan Utama
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, dkk. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Temuan Utama
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, dkk. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Temuan Utama
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Temuan Utama
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Temuan Utama
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Temuan Utama
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Strategi Pertahanan dari Penelitian
Apa yang Tidak Berfungsi
- ✗Pseudonimisasi — LLM mengalahkan nama pengguna, handle, nama tampilan
- ✗Konversi teks ke gambar — Hanya penurunan kecil terhadap LLM multimodal
- ✗Penyelarasan model saja — Saat ini tidak efektif dalam mencegah inferensi
- ✗Anonimisasi teks sederhana — Tidak cukup terhadap penalaran LLM
Apa yang Berfungsi
- ✓Anonimisasi adversarial — Mengurangi inferensi 66,3% → 45,3%
- ✓Privasi diferensial — Mengurangi presisi PII 33,86% → 9,37%
- ✓Pertahanan injeksi prompt — Paling efektif terhadap PIE berbasis LLM
- ✓Penghapusan/penggantian PII sejati — Menghapus sinyal yang digunakan LLM
Mengapa Penelitian Ini Penting
12 makalah penelitian ini menunjukkan pergeseran fundamental dalam ancaman privasi. Pendekatan anonimisasi tradisional seperti nama samaran, nama pengguna, dan perubahan handle tidak lagi perlindungan yang cukup terhadap lawan yang bertekad dengan akses ke LLM.
Metrik Ancaman Utama
- Akurasi deanonimisasi 68% pada akurasi 90% (Hacker News → LinkedIn)
- Akurasi inferensi atribut 85% untuk lokasi, pendapatan, usia, pekerjaan
- Ekstraksi email 100% dan ekstraksi nomor telepon 98% (GPT-4)
- Peningkatan 5x dalam kebocoran PII dengan serangan multi-kueri canggih
- Biaya $1-$4 per profil membuat serangan skala besar layak secara ekonomi
Siapa Yang Berisiko
- Whistleblower & aktivis: Posting anonim dapat dikaitkan dengan identitas nyata
- Profesional: Aktivitas Reddit dikaitkan dengan profil LinkedIn
- Pasien perawatan kesehatan: Inferensi keanggotaan mengungkap apakah data berada dalam pelatihan
- Siapa pun dengan posting historis: Tahun data dapat deanonimisasi secara retroaktif
Bagaimana anonym.legal Mengatasi Ancaman Ini
anonym.legal menyediakan anonimisasi sejati yang menghapus sinyal yang digunakan LLM:
- 285+ Jenis Entitas: Nama, lokasi, tanggal, penanda temporal, pengidentifikasi
- Gangguan Pola Penulisan: Mengganti teks yang mengungkapkan sidik jari stylometric
- Enkripsi Reversibel: AES-256-GCM untuk kasus yang memerlukan akses resmi
- Beberapa Operator: Ganti, Redaksi, Hash, Enkripsi, Masker, Kustom
Pertanyaan yang Sering Diajukan
Apa itu deanonimisasi berbasis LLM?
Deanonimisasi berbasis LLM menggunakan model bahasa besar untuk mengidentifikasi individu nyata dari posting online anonim atau pseudonim. Tidak seperti metode tradisional yang gagal dalam skala besar, LLM dapat menggabungkan analisis gaya tulisan (stylometry), fakta yang dinyatakan, pola temporal, dan penalaran kontekstual untuk mencocokkan profil anonim dengan identitas nyata. Penelitian menunjukkan akurasi hingga 68% pada akurasi 90%, dibandingkan dengan hampir 0% untuk metode klasik.
Seberapa akurat deanonimisasi LLM?
Penelitian menunjukkan tingkat akurasi yang mengkhawatirkan: recall 68% pada akurasi 90% untuk pencocokan Hacker News ke LinkedIn, 67% untuk analisis temporal Reddit (pengguna yang sama seiring waktu), 35% pada skala internet (1 juta+ kandidat). Untuk inferensi atribut, GPT-4 mencapai akurasi top-1 85% menyimpulkan atribut pribadi seperti lokasi, pendapatan, usia, dan pekerjaan dari posting Reddit saja.
Apa itu kerangka ESRC?
ESRC (Ekstrak-Cari-Alasan-Kalibrasi) adalah kerangka deanonimisasi LLM empat langkah: (1) Ekstrak - LLM mengekstrak fakta pengidentifikasi dari posting anonim menggunakan NLP, (2) Cari - menanyakan database publik seperti LinkedIn menggunakan fakta yang diekstrak dan penyisipan semantik, (3) Alasan - LLM memberikan alasan tentang kecocokan kandidat menganalisis konsistensi, (4) Kalibrasi - penilaian kepercayaan untuk meminimalkan positif palsu sambil memaksimalkan kecocokan sejati.
Berapa biaya deanonimisasi LLM?
Penelitian menunjukkan deanonimisasi berbasis LLM berharga $1-$4 per profil, membuat deanonimisasi skala besar layak secara ekonomi. Untuk anonimisasi defensif, biayanya di bawah $0,035 per komentar menggunakan GPT-4. Biaya rendah ini memungkinkan aktor negara, korporasi, stalker, dan individu jahat melakukan serangan privasi skala besar.
Jenis PII apa yang dapat diekstrak LLM dari teks?
LLM unggul dalam mengekstrak: alamat email (akurasi 100% dengan GPT-4), nomor telepon (98%), alamat surat, dan nama. Mereka juga dapat menyimpulkan PII non-eksplisit: lokasi, tingkat pendapatan, usia, jenis kelamin, pekerjaan, pendidikan, status hubungan, dan tempat kelahiran dari isyarat tekstual halus dan pola tulisan.
Apa itu serangan inferensi keanggotaan (MIA)?
Serangan inferensi keanggotaan menentukan apakah data tertentu digunakan untuk melatih model AI. Untuk LLM, ini mengungkapkan apakah informasi pribadi Anda berada dalam dataset pelatihan. Penelitian menunjukkan alamat email dan nomor telepon sangat rentan. Vektor serangan baru termasuk inferensi berbasis tokenizer dan analisis sinyal perhatian (AttenMIA).
Bagaimana serangan injeksi prompt membocorkan data pribadi?
Injeksi prompt memanipulasi agen LLM untuk membocorkan data pribadi yang diamati selama eksekusi tugas. Dalam skenario agen perbankan, serangan mencapai tingkat kesuksesan ~20% pada eksfiltrasi data pribadi, dengan degradasi utilitas 15-50% di bawah serangan. Meskipun penyelarasan keamanan mencegah kebocoran kata sandi, data pribadi lainnya tetap rentan.
Bagaimana anonym.legal dapat membantu melindungi dari serangan privasi LLM?
anonym.legal menyediakan anonimisasi sejati melalui: (1) Deteksi PII - 285+ jenis entitas termasuk nama, lokasi, tanggal, pola penulisan, (2) Penggantian - mengganti PII nyata dengan alternatif yang valid format, (3) Redaksi - sepenuhnya menghapus informasi sensitif, (4) Enkripsi Reversibel - AES-256-GCM untuk akses resmi. Tidak seperti pseudonimisasi yang dikalahkan LLM, anonimisasi sejati menghapus sinyal yang digunakan LLM untuk deanonimisasi.
Lindungi dari Serangan Privasi LLM
Jangan andalkan pseudonimisasi. Gunakan anonimisasi sejati untuk melindungi dokumen sensitif, data pengguna, dan komunikasi dari serangan identifikasi bertenaga AI.