By George Curta · Last updated 2026-04-07
LLM-sekretessattackforskning
12 granskade forskningsartiklar som visar varför pseudonymitet misslyckas mot AI.
Avanonymisering, PII-extraktion, medlemskapsinferens, prompt-injektionsattacker — och hur du skyddar dig.
Kategorier av sekretessattacker
Avanonymisering
LLM:er matchar anonyma inlägg till verkliga identiteter med hjälp av skrivstil, fakta och tidsmönster. 68% noggrannhet för $1-$4/profil.
Attributinferens
LLM:er härleder personliga attribut (plats, inkomst, ålder) från text även när de inte är uttalade. GPT-4 uppnår 85% top-1-noggrannhet.
PII-extraktion
Extrahering av personlig information från träningsdata eller prompter. 100% e-postextraktionsnoggrannhet med GPT-4. 5× ökning med avancerade attacker.
Prompt-injektion
Manipulering av LLM-agenter för att läcka personlig data under uppgiftsexekvering. ~20% attackframgångsfrekvens i bankscenarier.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Huvudfynd
68% recall at 90% precision for deanonymization using ESRC framework
Metodologi
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC-ramverk
LLM extraherar identifierande fakta från anonyma inlägg
Använder fakta för att fråga offentliga databaser (LinkedIn osv.)
LLM resonerar om potentiella matchningar
Konfidenspoäng för att minimera falska positiver
Experimentella resultat
| Dataset | Återkallelse @ 90% precision | Anteckningar |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Konsekvenser
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Alla forskningsartiklar
11 ytterligare granskade studier om LLM-sekretessattacker
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Huvudfynd
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Huvudfynd
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Huvudfynd
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Huvudfynd
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Huvudfynd
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Huvudfynd
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Huvudfynd
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Huvudfynd
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Huvudfynd
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Huvudfynd
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Huvudfynd
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Försvarsstrategier från forskning
Vad som inte fungerar
- ✗Pseudonymisering — LLM:er besegrar användarnamn, handtag, visningsnamn
- ✗Text-till-bildomvandling — Endast liten minskning mot multimodala LLM:er
- ✗Modelljustering ensam — För närvarande ineffektiv vid förhindring av inferens
- ✗Enkel textanonymisering — Otillräcklig mot LLM-resonemang
Vad som fungerar
- ✓Antagonistisk anonymisering — Reducerar inferens 66,3% → 45,3%
- ✓Differentiell integritet — Reducerar PII-precision 33,86% → 9,37%
- ✓Försvar mot prompt-injektion — Mest effektivt mot LLM-baserad PIE
- ✓Sann PII-borttagning/ersättning — Tar bort signaler som LLM:er använder
Varför denna forskning är viktig
Dessa 12 forskningsartiklar demonstrerar en fundamental förändring i sekretesshot. Traditionella anonymiseringsmetoder som pseudonymer, användarnamn och handtagsändringar är inte längre tillräckligt skydd mot beslutna motståndare med tillgång till LLM:er.
Viktiga hotmätvärden
- 68% avanonymiseringsnoggrannhet vid 90% precision (Hacker News → LinkedIn)
- 85% attributinferensnoggrannhet för plats, inkomst, ålder, yrke
- 100% e-postextraktion och 98% telefonnummerextraktion (GPT-4)
- 5× ökning av PII-läckage med sofistikerade flerfråge-attacker
- $1-$4 kostnad per profil gör massattacker ekonomiskt genomförbara
Vem är i risk
- Visselblåsare och aktivister: Anonyma inlägg kan länkas till verkliga identiteter
- Yrkesmän: Reddit-aktivitet länkad till LinkedIn-profiler
- Sjukvårdspatienter: Medlemskapsinerens avslöjar om data fanns i träning
- Vem som helst med historiska inlägg: År av data kan retroaktivt avanonymiseras
Hur anonym.legal hanterar dessa hot
anonym.legal ger sann anonymisering som tar bort de signaler som LLM:er använder:
- 285+ enhetstyper: Namn, platser, datum, tidsmärken, identifierare
- Disruption av skrivmönster: Ersätter text som avslöjar stilometriska fingeravtryck
- Reversibel kryptering: AES-256-GCM för fall som kräver auktoriserad åtkomst
- Flera operatörer: Ersätt, Redactera, Hash, Kryptera, Maskera, Anpassad
Vanliga frågor
Vad är LLM-baserad avanonymisering?
LLM-baserad avanonymisering använder stora språkmodeller för att identifiera verkliga individer från anonyma eller pseudonyma nätinlägg. Till skillnad från traditionella metoder som misslyckas i stor skala kan LLM:er kombinera skrivstilsanalys (stilometri), uttalade fakta, tidsmönster och kontextuell resonering för att matcha anonyma profiler till verkliga identiteter. Forskning visar upp till 68% noggrannhet vid 90% precision, jämfört med nästan 0% för klassiska metoder.
Hur korrekt är LLM-avanonymisering?
Forskning demonstrerar alarmerande noggrannhetsnivåer: 68% återkallelse vid 90% precision för Hacker News till LinkedIn-matchning, 67% för Reddit tidsmässig analys (samma användare över tid), 35% vid internetskala (1M+ kandidater). För attributinferens uppnår GPT-4 85% top-1-noggrannhet vid att härleda personliga attribut som plats, inkomst, ålder och yrke från Reddit-inlägg ensamt.
Vad är ESRC-ramverket?
ESRC (Extract-Search-Reason-Calibrate) är ett fyrastegigt LLM-avanonymiseringsramverk: (1) Extrahera - LLM extraherar identifierande fakta från anonyma inlägg med NLP, (2) Sök - frågar offentliga databaser som LinkedIn med extraherade fakta och semantiska inbäddningar, (3) Resonera - LLM resonerar om potentiella matchningar och analyserar konsekvens, (4) Kalibrera - konfidenspoäng för att minimera falska positiver samtidigt som verkliga matchningar maximeras.
Hur mycket kostar LLM-avanonymisering?
Forskning visar att LLM-baserad avanonymisering kostar $1-$4 per profil, vilket gör massavanonymisering ekonomiskt genomförbar. För defensiv anonymisering kostar det under $0,035 per kommentar med GPT-4. Denna låga kostnad gör det möjligt för statliga aktörer, företag, stalkers och illvilliga individer att genomföra storskaliga sekretessattacker.
Vilka typer av PII kan LLM:er extrahera från text?
LLM:er är experter på att extrahera: e-postadresser (100% noggrannhet med GPT-4), telefonnummer (98%), postadresser och namn. De kan också härleda icke-explicit PII: plats, inkomstnivå, ålder, kön, yrke, utbildning, relationsstatus och födelseort från subtila textsignaler och skrivmönster.
Vad är en medlemskapsinterferensattack (MIA)?
Medlemskapsinterferensattacker bestämmer om specifika data användes för att träna en AI-modell. För LLM:er avslöjar detta om din personlig information fanns i träningsdatauppsättningen. Forskning visar att e-postadresser och telefonnummer är särskilt sårbara. Nya attackvektorer inkluderar tokenizer-baserad interferens och uppmärksamhetssignalanalys (AttenMIA).
Hur läcker prompt-injektionsattacker personlig data?
Prompt-injektion manipulerar LLM-agenter för att läcka personlig data som observeras under aktivitetskörning. I bankagentscenarier uppnår attacker ~20% framgångsfrekvens vid att exfiltrera personlig data, med 15-50% användarvärdeförsämring under attack. Medan säkerhetsjustering förhindrar lösenordslägga, förblir annan personlig data sårbar.
Hur kan anonym.legal skydda mot LLM-sekretessattacker?
anonym.legal tillhandahåller sann anonymisering genom: (1) PII-detektion - 285+ enhetstyper inklusive namn, platser, datum, skrivmönster, (2) Ersättning - ersätter verklig PII med formatlydiga alternativ, (3) Redaction - tar helt bort känslig information, (4) Reversibel kryptering - AES-256-GCM för auktoriserad åtkomst. Till skillnad från pseudonymisering som LLM:er besegrar, tar sann anonymisering bort de signaler som LLM:er använder för avanonymisering.
Skydda dig mot LLM-sekretessattacker
Förlita dig inte på pseudonymitet. Använd sann anonymisering för att skydda känsliga dokument, användardata och kommunikation från AI-driven identifieringsattacker.
About this page
We update this page when our platform or the law changes.
Read our founder note for how we work.
Each change shows up in the timestamp at the top.
Related reading
- Common questions
- Glossary
- How tokens work
- Security posture
- Where we comply
- What we detect
- Case studies
- Release notes
We follow these rules
- GDPR (EU 2016/679).
- ISO/IEC 27001:2022.
- NIS2 (EU 2022/2555).
- HIPAA safe harbor under 45 CFR § 164.514(b)(2).
Our promise
We do not sell your data.
We do not train models on your text.
We store your files in Germany.
You can delete your account at any time.
You own your work.
Where we run
Our servers live in Falkenstein, Germany.
We use Hetzner. They hold ISO 27001 certification.
All data stays in the EU.
Backups run every day.
Need help?
Email support@anonym.legal.
We reply within one business day.
How we test
We run a full check suite on every release.
Each surface gets its own sweep script and report.
Human reviewers spot-check the output each week.
We track recall and precision on a labelled set.
Bad runs block the deploy.
What we never do
- We never sell your information to third parties.
- We never train models on what you upload.
- We never keep your work after you delete it.
- We never share keys with any outside firm.
- We never run ads inside the product.
Plans in plain words
We sell credits, not seats.
One credit covers one short job.
Long jobs use a few credits each.
You can top up at any time.
Unused credits roll over each month.
Read the plans page for current rates.
Who built this
A small team of engineers and lawyers built this.
We ship from Europe and work in the open.
Our founder note spells out why we started.
Where to start
- Open the web app and try a sample file.
- Learn how credits get counted.
- See current plans and limits.
- Meet the team behind the product.
How the parts fit
A browser add-on cleans text inside Chrome.
A Word plug-in handles drafts in Office.
A small desktop tool works on whole folders.
An agent protocol link feeds large models safely.
All four share one core engine and one rule set.
Words from our team
We started this work after a lunch about cookies.
One friend kept getting odd ads on her phone.
We asked why a court file leaked through a draft.
We sketched the first build on a napkin that week.
By month three we had a tiny demo for a friend.
She used it on her first case the next day.
Common questions we hear
Can the tool read scanned PDFs? Yes, with OCR.
Does it work on long files? Yes, in small chunks.
Can I roll my own rule set? Yes, save it as a preset.
Does it run offline? The desktop build runs offline.
Do you keep my files? No, the cloud build wipes after each run.
Will it learn from my work? No, we never train on inputs.
A short tour of the workflow
Upload a file or paste a snippet of prose.
Pick the entities you want gone from the draft.
Choose a method: replace, mask, hash, encrypt, or redact.
Press run and watch the side panel show each hit.
Skim the result and tweak any rule that misfired.
Save the cleaned file or send it to a teammate.