Badania Ataków Prywatności LLM
12 artykułów poddanych recenzji eksperckie wykazujące, dlaczego pseudonimizacja zawodzi wobec AI.
Deanonimizacja, ekstrakcja danych osobowych, wnioskowanie członkostwa, ataki iniekcji promptów — i jak się przed nimi chronić.
Kategorie Ataków Prywatności
Deanonimizacja
LLM dopasowują posty anonimowe do rzeczywistych tożsamości, używając stylu pisania, faktów i wzorów czasowych. Dokładność 68% za 1-4 USD na profil.
Wnioskowanie Atrybutów
LLM wnioskują atrybuty osobiste (lokalizację, dochód, wiek) z tekstu nawet gdy nie są podane. GPT-4 osiąga dokładność top-1 na poziomie 85%.
Ekstrakcja Danych Osobowych
Ekstrakcja informacji osobistych z danych treningowych lub promptów. Dokładność ekstrakcji poczty 100% z GPT-4. Wzrost 5-krotny przy zaawansowanych atakach.
Iniekcja Promptu
Manipulowanie agentami LLM w celu wycieków danych osobowych podczas wykonywania zadań. Współczynnik powodzenia ataku ~20% w scenariuszach bankowych.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Kluczowe Ustalenie
68% recall at 90% precision for deanonymization using ESRC framework
Metodologia
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Ramy ESRC
LLM ekstrakcji faktów identyfikujących z postów anonimowych
Używa faktów do wyszukiwania publicznych baz danych (LinkedIn, itp.)
LLM rozumuje o kandydujących dopasowaniach
Ocena pewności, aby zminimalizować fałszywe pozytywne wyniki
Wyniki Eksperymentalne
| Zbiór Danych | Zwrot @ 90% Precyzji | Notatki |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Implikacje
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Wszystkie Artykuły Naukowe
11 dodatkowych badań poddanych recenzji na temat ataków prywatności LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, i in. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Kluczowe Ustalenia
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, i in. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Kluczowe Ustalenia
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, i in. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Kluczowe Ustalenia
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, i in. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Kluczowe Ustalenia
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Kluczowe Ustalenia
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, i in. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Kluczowe Ustalenia
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, i in. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Kluczowe Ustalenia
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, i in. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Kluczowe Ustalenia
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Kluczowe Ustalenia
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Kluczowe Ustalenia
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Kluczowe Ustalenia
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Strategie Obrony z Badań
Co Nie Działa
- ✗Pseudonimizacja — LLM pokonują pseudonimy, uchwyty, nazwy wyświetlane
- ✗Konwersja tekstu na obraz — Tylko niewielki spadek w stosunku do wielomodalnych LLM
- ✗Wyrównanie modelu sam — Aktualnie nieskuteczne w zapobieganiu wnioskowania
- ✗Prosta anonimizacja tekstu — Niewystarczająca w stosunku do rozumowania LLM
Co Działa
- ✓Anonimizacja przeciwnika — Zmniejsza wnioskowanie 66,3% → 45,3%
- ✓Prywatność różnicowa — Zmniejsza precyzję danych osobowych 33,86% → 9,37%
- ✓Obrona przed inijekcją promptu — Najbardziej efektywna wobec ekstrakcji danych osobowych opartej na LLM
- ✓Prawdziwe usunięcie/zamiana danych osobowych — Usuwa sygnały, które wykorzystują LLM
Dlaczego To Badanie Jest Ważne
Te 12 artykułów naukowych wykazują fundamentalną zmianę w zagrożeniach prywatności. Tradycyjne podejścia do anonimizacji takie jak pseudonimy, nazwy użytkowników i zmiana uchwytów nie stanowią już wystarczającej ochrony przed zdeterminowanymi przeciwnikami mającymi dostęp do LLM.
Kluczowe Metryki Zagrożenia
- Dokładność deanonimizacji 68% przy 90% precyzji (Hacker News → LinkedIn)
- Dokładność wnioskowania atrybutów 85% dla lokalizacji, dochodu, wieku, zawodu
- Ekstrakcja poczty 100% i ekstakcja numeru telefonu 98% (GPT-4)
- Wzrost 5-krotny wycieku danych osobowych przy zaawansowanych atakach wielokrotnych zapytań
- Koszt 1-4 USD na profil sprawia, że ataki masowe są ekonomicznie wykonalne
Kto Jest W Zagrożeniu
- Sygnaliści i aktywiści: Posty anonimowe mogą być powiązane z rzeczywistymi tożsamościami
- Profesjonaliści: Działalność Reddit powiązana z profilami LinkedIn
- Pacjenci opieki zdrowotnej: Wnioskowanie członkostwa ujawnia, czy dane były w danych treningowych
- Każdy z posami historycznymi: Lata danych mogą być retroaktywnie deanonimizowane
Jak anonym.legal Rozwiązuje Te Zagrożenia
anonym.legal zapewnia prawdziwą anonimizację, która usuwa sygnały, które wykorzystują LLM:
- 285+ Typów Jednostek: Nazwy, lokalizacje, daty, znaczniki czasowe, identyfikatory
- Perturbacja Wzoru Pisania: Zastępuje tekst, który ujawnia odciski stylometryczne
- Szyfrowanie Odwracalne: AES-256-GCM dla przypadków wymagających autoryzowanego dostępu
- Wielu Operatorów: Zamiana, Redakcja, Hash, Szyfrowanie, Maskowanie, Niestandardowe
Często Zadawane Pytania
Co to jest deanonimizacja oparta na LLM?
Deanonimizacja oparta na LLM wykorzystuje duże modele językowe do identyfikacji rzeczywistych osób z anonimowych lub pseudonimowych postów online. W przeciwieństwie do tradycyjnych metod, które zawodzą na dużą skalę, LLM mogą łączyć analizę stylu pisania (stylometrię), podane fakty, wzorce czasowe i rozumowanie kontekstowe w celu dopasowania profili anonimowych do rzeczywistych tożsamości. Badania wykazują dokładność do 68% przy 90% precyzji, w porównaniu do prawie 0% dla metod klasycznych.
Jak dokładna jest deanonimizacja oparta na LLM?
Badania wykazują alarmujące poziomy dokładności: zwrot 68% przy 90% precyzji dla dopasowania Hacker News do LinkedIn, 67% dla analizy czasowej Reddit (ten sam użytkownik w czasie), 35% w skali internetu (1M+ kandydatów). Dla wnioskowania atrybutów GPT-4 osiąga dokładność top-1 na poziomie 85% w wnioskowaniu atrybutów osobistych takich jak lokalizacja, dochód, wiek i zawód z samych postów Reddit.
Co to jest ramy ESRC?
ESRC (Extract-Search-Reason-Calibrate) to czterostopniowe ramy deanonimizacji oparte na LLM: (1) Ekstrakcja - LLM ekstrakcji faktów identyfikujących z postów anonimowych za pomocą NLP, (2) Wyszukiwanie - wyszukiwanie publicznych baz danych takich jak LinkedIn za pomocą wyodrębnionych faktów i osadzeń semantycznych, (3) Rozumowanie - LLM rozumuje o kandydujących dopasowaniach analizując spójność, (4) Kalibracja - ocena pewności w celu zminimalizowania fałszywych pozytywnych wyników przy maksymalizacji prawdziwych dopasowań.
Ile kosztuje deanonimizacja oparta na LLM?
Badania wykazują, że deanonimizacja oparta na LLM kosztuje 1-4 USD na profil, co sprawia, że deanonimizacja masowa jest ekonomicznie wykonalna. Dla defensywnej anonimizacji koszty są poniżej 0,035 USD za komentarz za pomocą GPT-4. Ten niski koszt umożliwia aktorom państwowym, korporacjom, stalkerom i złośliwym osobom przeprowadzanie dużych ataków prywatności.
Jakie typy danych osobowych mogą ekstrakcji LLM z tekstu?
LLM doskonale radzą sobie w ekstrakcji: adresy e-mail (100% dokładności z GPT-4), numery telefonów (98%), adresy pocztowe i nazwiska. Mogą również wnioskować niejawne dane osobowe: lokalizacja, poziom dochodu, wiek, płeć, zawód, edukacja, stan cywilny i miejsce urodzenia z subtelnych wskazówek tekstowych i wzorów pisania.
Co to jest atak wnioskowania członkostwa (MIA)?
Ataki wnioskowania członkostwa określają, czy określone dane zostały wykorzystane do trenowania modelu AI. Dla LLM, to ujawnia, czy Twoje dane osobowe były w zestawie danych treningowych. Badania wykazują, że adresy e-mail i numery telefonów są szczególnie podatne. Nowe wektory ataków obejmują wnioskowanie oparte na tokenach i analizę sygnału atencji (AttenMIA).
W jaki sposób ataki iniekcji promptu wyciekają dane osobowe?
Iniekcja promptu manipuluje agentami LLM w celu wycieku danych osobowych obserwowanych podczas wykonywania zadań. W scenariuszach agentów bankowych ataki osiągają współczynnik powodzenia ~20% przy eksfiltrowaniu danych osobowych, z degradacją użyteczności 15-50% w wyniku ataku. Chociaż wyrównania bezpieczeństwa zapobiegają wyciekom haseł, inne dane osobowe pozostają podatne.
Jak anonym.legal może pomóc w ochronie przed atakami prywatności LLM?
anonym.legal zapewnia prawdziwą anonimizację poprzez: (1) Detekcja Danych Osobowych - 285+ typów jednostek obejmujących nazwy, lokalizacje, daty, wzorce pisania, (2) Zamiana - zastępuje rzeczywiste dane osobowe alternatywami o poprawnym formacie, (3) Redakcja - całkowicie usuwa poufne informacje, (4) Szyfrowanie Odwracalne - AES-256-GCM dla autoryzowanego dostępu. W przeciwieństwie do pseudonimizacji, którą LLM pokonują, prawdziwa anonimizacja usuwa sygnały, które LLM wykorzystują do deanonimizacji.
Chroń się przed Atakami Prywatności LLM
Nie polegaj na pseudonimowości. Użyj prawdziwej anonimizacji, aby chronić wrażliwe dokumenty, dane użytkownika i komunikację przed atakami identyfikacji wspieranymi przez AI.