LLM Gizlilik Saldırısı Araştırması
Yapay zekanın karşısında sahte kimliğin neden başarısız olduğunu gösteren 12 hakem tarafından incelenen araştırma makalesi.
Kimlik belirleme, PII çıkarma, üyelik çıkarma, istem enjeksiyonu saldırıları — ve bunlara karşı nasıl korunacağınız.
Gizlilik Saldırısı Kategorileri
Kimlik Belirleme
LLM'ler yazı stili, gerçekler ve zamansal desenleri kullanarak anonim yazıları gerçek kimliklerle eşleştirir. 90% kesinlikte %68 doğruluk, $1-$4/profil.
Öznitelik Çıkarma
LLM'ler belirtilmese bile kişisel öznitelikleri (konum, gelir, yaş) metinden çıkarır. GPT-4 %85 top-1 doğruluğu elde eder.
PII Çıkarma
Eğitim verilerinden veya istemlerden kişisel bilgileri çıkarma. GPT-4 ile %100 e-posta çıkarma doğruluğu. Gelişmiş saldırılarla 5× artış.
İstem Enjeksiyonu
Görev yürütme sırasında kişisel verileri sızmak için LLM ajanlarını manipüle etme. Bankacılık senaryolarında ~%20 saldırı başarı oranı.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Ana Bulgu
68% recall at 90% precision for deanonymization using ESRC framework
Metodoloji
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC Çerçevesi
LLM anonim yazılardan tanımlayıcı gerçekleri çıkarır
Çıkarılan gerçekleri kullanarak genel veritabanlarını (LinkedIn vb.) sorgular
LLM aday eşleşmeleri hakkında gerekçe sunar
Yanlış pozitifleri azaltmak için güven puanlaması
Deneysel Sonuçlar
| Veri Seti | Anımsama @ %90 Kesinlik | Notlar |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Çıkarımlar
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Tüm Araştırma Makaleleri
LLM gizlilik saldırıları hakkında 11 ek hakem tarafından incelenen çalışma
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, ve diğerleri (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Ana Bulgular
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, ve diğerleri (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Ana Bulgular
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, ve diğerleri (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Ana Bulgular
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, ve diğerleri (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Ana Bulgular
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Ana Bulgular
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, ve diğerleri (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Ana Bulgular
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, ve diğerleri (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Ana Bulgular
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, ve diğerleri (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Ana Bulgular
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Ana Bulgular
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Ana Bulgular
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Ana Bulgular
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Araştırmadan Savunma Stratejileri
Ne İşe Yaramaz
- ✗Sahte Kimlik — LLM'ler kullanıcı adlarını, tutamaçları, görünen adları yener
- ✗Metinden Görüntüye Dönüştürme — Çok modaliteli LLM'lere karşı sadece hafif düşüş
- ✗Model hizalanması tek başına — Şu anda çıkarımı engellemede etkisiz
- ✗Basit metin anonimleştirme — LLM akıl yürütmesine karşı yetersiz
Ne İşe Yarar
- ✓Ters anonimleştirme — Çıkarımı %66.3 → %45.3'e düşürür
- ✓Diferansiyel gizlilik — PII kesinliğini %33.86 → %9.37'ye düşürür
- ✓İstem enjeksiyonu savunması — LLM tabanlı PIE'ye karşı en etkili
- ✓Gerçek PII kaldırma/değiştirme — LLM'lerin kullandığı sinyalleri kaldırır
Bu Araştırma Neden Önemli
Bu 12 araştırma makalesi gizlilik tehditleriyle ilgili temel bir değişimi göstermektedir. Sahte kimlik, kullanıcı adları ve tutamaç değişiklikleri gibi geleneksel anonimleştirme yaklaşımları, artık LLM'lere erişimi olan kararlı düşmanlara karşı yeterli koruma değildir.
Kilit Tehdit Ölçümleri
- %90 kesinlikte %68 kimlik belirleme doğruluğu (Hacker News → LinkedIn)
- Konum, gelir, yaş, meslek için %85 öznitelik çıkarma doğruluğu
- %100 e-posta çıkarma ve %98 telefon numarası çıkarma (GPT-4)
- Gelişmiş çok sorgulu saldırılarla PII sızıntısında 5× artış
- Profil başına $1-$4 maliyet, toplu saldırıları ekonomik olarak uygulanabilir kılar
Risk Altında Kimler
- İfşaatçılar ve aktivistler: Anonim yazılar gerçek kimliklerle bağlanabilir
- Profesyoneller: Reddit aktivitesi LinkedIn profillerine bağlanabilir
- Sağlık hizmeti hastaları: Üyelik çıkarma, verilerin eğitimde olup olmadığını ortaya çıkarır
- Tarihsel yazıları olanlar: Yılların verisi geriye dönük olarak kimliği belirlenebilir
anonym.legal Bu Tehditleri Nasıl Giderir
anonym.legal, LLM'lerin kullandığı sinyalleri kaldıran gerçek anonimleştirme sağlar:
- 285+ İçerik Türü: Adlar, konumlar, tarihler, zamansal işaretçiler, tanımlayıcılar
- Yazı Deseni Bozulması: Stilometrik parmak izi ortaya çıkaran metni değiştirir
- Tersine Dönüştürülebilir Şifreleme: Yetkili erişim gerektiren durumlar için AES-256-GCM
- Çoklu Operatörler: Değiştir, Redakt Et, Hash, Şifrele, Maskele, Özel
Sıkça Sorulan Sorular
LLM tabanlı kimlik belirleme nedir?
LLM tabanlı kimlik belirleme, anonim veya sahte isimli çevrimiçi yazılardan gerçek bireyleri belirlemek için büyük dil modellerini kullanır. Ölçekte başarısız olan geleneksel yöntemlerden farklı olarak, LLM'ler yazı stili analizi (stilometri), belirtilen gerçekler, zamansal desenleri ve bağlamsal akıl yürütmeyi birleştirerek anonim profilleri gerçek kimliklerle eşleştirir. Araştırma, %90 kesinlikte %68 doğruluğu gösterirken, klasik yöntemler neredeyse %0'dır.
LLM kimlik belirleme ne kadar doğru?
Araştırma alarming doğruluk seviyeleri göstermektedir: Hacker News'den LinkedIn eşleştirmesi için %90 kesinlikte %68 anımsama, Reddit zamansal analizi için %67 (zaman içinde aynı kullanıcı), internet ölçeğinde %35 (1M+ aday). Öznitelik çıkarma için GPT-4, Reddit yazılarından tek başına konum, gelir, yaş ve meslek gibi kişisel öznitelikleri çıkarırken %85 top-1 doğruluğu elde eder.
ESRC çerçevesi nedir?
ESRC (Çıkart-Ara-Gerekçe-Kalibre) dört adımlı bir LLM kimlik belirleme çerçevesidir: (1) Çıkart - LLM, NLP kullanarak anonim yazılardan tanımlayıcı gerçekleri çıkarır, (2) Ara - LinkedIn gibi halka açık veritabanlarını çıkarılan gerçekler ve anlam gömülümleri kullanarak sorgular, (3) Gerekçe - LLM, tutarlılığı analiz ederek aday eşleşmeleri hakkında gerekçe sunar, (4) Kalibre - yanlış pozitifleri azaltırken gerçek eşleşmeleri maksimize etmek için güven puanlaması.
LLM kimlik belirleme maliyeti ne kadar?
Araştırma, LLM tabanlı kimlik belirlemenin profil başına $1-$4 maliyetini göstererek toplu kimlik belirlemeyi ekonomik olarak uygulanabilir kılar. Savunmacı anonimleştirme için, GPT-4 kullanarak maliyetler her yorum başına $0.035'in altındadır. Bu düşük maliyet, devlet aktörleri, şirketler, stalkerlar ve kötü niyetli bireylerin toplu gizlilik saldırıları gerçekleştirmesini mümkün kılar.
LLM'ler metinden ne tür PII çıkarabiliyor?
LLM'ler şurada mükemmeldir: e-posta adresleri (GPT-4 ile %100 doğruluk), telefon numaraları (%98), posta adresleri ve adlar. Ayrıca açık olmayan PII'yi de çıkarabiliyor: konum, gelir seviyesi, yaş, cinsiyet, meslek, eğitim, ilişki durumu ve doğum yeri, zarif metin ipuçlarından ve yazı desenlerinden.
Üyelik çıkarma saldırısı (MIA) nedir?
Üyelik çıkarma saldırıları, belirli verilerin AI modelini eğitmek için kullanılıp kullanılmadığını belirler. LLM'ler için, bu kişisel bilgilerinizin eğitim veri seti içinde olup olmadığını ortaya çıkarır. Araştırma, e-posta adresleri ve telefon numaralarının özellikle savunmasız olduğunu göstermektedir. Yeni saldırı vektörleri tokenizer tabanlı çıkarma ve dikkat sinyali analizi (AttenMIA) içerir.
İstem enjeksiyonu saldırıları kişisel verileri nasıl sızıyor?
İstem enjeksiyonu, görev yürütme sırasında gözlemlenen kişisel verileri sızmak için LLM ajanlarını manipüle eder. Bankacılık ajanı senaryolarında, saldırılar kişisel verileri sızdırmada ~%20 başarı oranı elde ederken saldırı altında %15-50 fayda bozulmasına neden olur. Güvenlik hizalanması parola sızıntısını önlerken, diğer kişisel veriler savunmasız kalır.
anonym.legal LLM gizlilik saldırılarına karşı nasıl koruma sağlar?
anonym.legal gerçek anonimleştirme sağlar: (1) PII Algılama - adlar, konumlar, tarihler, yazı desenleri dahil 285+ varlık türü, (2) Değiştirme - gerçek PII'yi biçim-geçerli alternatiflerle değiştirir, (3) Redaksiyon - hassas bilgileri tamamen kaldırır, (4) Tersine Dönüştürülebilir Şifreleme - yetkili erişim için AES-256-GCM. LLM'lerin yendiği sahte kimliğin aksine, gerçek anonimleştirme LLM'lerin kimlik belirleme için kullandığı sinyalleri kaldırır.
LLM Gizlilik Saldırılarına Karşı Korunun
Sahte kimliğe güvenmeyin. Hassas belgeler, kullanıcı verileri ve iletişimi yapay zekanın desteklediği kimlik belirleme saldırılarından korumak için gerçek anonimleştirme kullanın.