LLM-persónuverndrannsóknir
12 ritrýndar rannsóknargreinar sem sýna hvers vegna dulnefni berfæ gegn gervigreind.
Afnafnun, PII-útdráttur, aðildaheiti-ályktun, ábendingu-innspýtingaaðföll — og hvernig þú verndast.
Persónuvernd-árásarflokkar
Afnafnun
LLM-er passa nafnlaus innlegg við raunverulega auðkenningu með því að nota ritun, staðreyndir og tíðvöx. 68% nákvæmni fyrir $1-$4/prófíl.
Eiginleika-ályktun
LLM-er ályktun persónulega eiginleika (staðsetning, tekjur, aldur) frá texta jafnvel þegar þeir eru ekki tilgreindir. GPT-4 nær 85% top-1 nákvæmni.
PII-útdráttur
Útdráttur persónuupplýsinga frá þjálfunargögnum eða ábendingum. 100% tölvupósts útdráttarnákvæmni með GPT-4. 5× aukning með ítarlegum árásum.
Ábendingu innspýting
Stjórnun á LLM-agenturum til að leka persónuupplýsingum meðan á verkefnakeyrslu stendur. ~20% árásasamþykkishlutfall í bankasviðum.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Helstu niðurstöður
68% recall at 90% precision for deanonymization using ESRC framework
Aðferðafræði
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC rammi
LLM dregur út auðkenningarstaðreyndir frá nafnlausum innleggum
Notar staðreyndir til að spyrja opinbera gagnagrunn (LinkedIn osfrv.)
LLM-kir rökstyðja um framboðskandidatar
Trausteinkunn til að lágmarka rangar jákvæðir
Tilraunaniðurstöður
| Gagnasett | Endurkall @ 90% nákvæmni | Athugasemdir |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Afleiðingar
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Allar rannsóknargreinar
11 viðbótarritrýndar rannsóknir um LLM persónuverndaaðföll
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Helstu niðurstöður
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Helstu niðurstöður
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Helstu niðurstöður
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Helstu niðurstöður
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Helstu niðurstöður
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Helstu niðurstöður
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Helstu niðurstöður
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Helstu niðurstöður
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Helstu niðurstöður
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Helstu niðurstöður
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Helstu niðurstöður
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Varnaraðferðir frá rannsóknum
Hvað virkar ekki
- ✗Dulnefni — LLM-er sigrast á notandanöfnum, töfum, birtingarnöfnum
- ✗Tekst-til-myndar breyting — Aðeins lítil skerðing gegn margvíðum LLM-um
- ✗Líkanleiðrétting ein og sér — Nú of verkandi til að koma í veg fyrir ályktunargerðir
- ✗Einföld dulnefnisgjöf texta — Ófullnægjandi gegn LLM-rökstuðningi
Hvað virkar
- ✓Mótsækni dulnefnisgjöf — Minnkar ályktunargerð 66,3% → 45,3%
- ✓Mismunandi persónuvernd — Minnkar PII nákvæmni 33,86% → 9,37%
- ✓Ábendingu innspýtingar vörn — Mest árangursríkasta gegn LLM-byggðu PIE
- ✓Sannarlega PII fjarlæging/endurskipun — Fjarlægir merki sem LLM-er nota
Hvers vegna þessi rannsókn er mikilvæg
Þessar 12 rannsóknargreinar sýna grundvallarbreytingu á persónuverndáhættu. Hefðbundnar dulnefnisaðferðir eins og dulnefni, notandanöfn og tafabreytingar eru ekki lengur næg vernd gegn ákveðnum óvinum sem hafa aðgang að LLM-um.
Lykilóhætturmælingar
- 68% afnafnunnákvæmni við 90% nákvæmni (Hacker News → LinkedIn)
- 85% eiginleika-ályktunarþorri fyrir staðsetningu, tekjur, aldur, atvinnu
- 100% tölvupósts útdráttur og 98% símanúmerutdráttur (GPT-4)
- 5× aukning í PII-leka með háþróuðum margföldum fyrirspurnarárásum
- $1-$4 kostnaður á hverja prófíl gerir fjöldaaðföll efnahagslega framkvæmanleg
Hver er í hættu
- Vísibendur og aktivistar: Nafnlaus innlegg geta tengst raunverulegum auðkennum
- Fagmenn: Reddit-virkni tengd LinkedIn-prófílum
- Heilbrigðisveran sjúklingar: Aðildaheiti-ályktun afhjúpar hvort gögn voru í þjálfun
- Hver sem er með sögulega innlegg: Ár af gögnum geta verið afnafnuð afturvirkt
Hvernig anonym.legal takmarkast við þessar ógnir
anonym.legal veitir sannarlega dulnefnisgjöf sem fjarlægir merki sem LLM-er nota:
- 285+ aðilategundir: Nöfn, staðir, dagsetningar, tímastimplar, auðkenni
- Skrifmerkis truflanir: Skiptir texta sem afhjúpar stillafræðilegar fingrablöð
- Afturkræf dulmál: AES-256-GCM fyrir tilfelli sem krefjast heimildaðs aðgangs
- Margar rekstraraðilar: Skiptu, Redact, Hash, Dulmál, Mask, Sérsniðið
Algengar spurningar
Hvað er LLM-byggt afnafnun?
LLM-byggt afnafnun notar stór tungumálalíkön til að bera kennsl á raunverulega einstaklinga frá nafnlausum eða dulnefndum vefjasendingum. Ólíkt hefðbundnum aðferðum sem berfæ í stórum skala geta LLM-er sameinað ritunargreininguna (stilometría), tilgreindar staðreyndir, tíðvöx og samhengilega rökstuðning til að passa nafnlaus prófíla við raunverulega auðkenni. Rannsóknir sýna allt að 68% nákvæmni við 90% nákvæmni, samanborið við næstum 0% fyrir klassískar aðferðir.
Hversu nákvæm er LLM-byggt afnafnun?
Rannsóknir sýna alarmeringarnákvæmni: 68% endurkall við 90% nákvæmni fyrir Hacker News til LinkedIn samsvörunar, 67% fyrir Reddit tímabæra greiningu (sama notandi yfir tíma), 35% í internetskala (1M+ framboðskonur). Fyrir eiginleika-ályktunargerðir nær GPT-4 85% top-1 nákvæmni við að ályktun um persónulega eiginleika eins og staðsetningu, tekjur, aldur og atvinnu frá Reddit sendingum eingöngu.
Hvað er ESRC rammi?
ESRC (Extract-Search-Reason-Calibrate) er fjórapprox LLM-byggt afnafnunarrammi: (1) Draga út - LLM dregur út auðkenningarstaðreyndir frá nafnlausum sendingum með NLP, (2) Leita - fyrirspurnir opinbera gagnagrunn eins og LinkedIn með því að nota dregnar staðreyndir og merkingarfellingu, (3) Rökstuðningur - LLM-kir rökstyðja um framboðssamsvörun með því að greina samkvæmni, (4) Stillir - trausteinkunn til að lágmarka rangar jákvæðir á meðan hámarkið raunverulegir samsvörun.
Hvað kostar LLM-byggt afnafnun?
Rannsóknir sýna að LLM-byggt afnafnun kostar $1-$4 á hverja prófíl, sem gerir fjöldaafnafnun efnahagslega framkvæmanleg. Fyrir varnaraðferðarðulnefnisgjöf kostar það innan við $0,035 á hverja athugasemd með GPT-4. Þessi lági kostnaður gerir ríkisaðilum, fyrirtækjum, stalkendum og illum einstaklingum kleift að framkvæma stórfenglega persónuverndaaðföll.
Hvaða tegundir af PII geta LLM-er dregið út frá texta?
LLM-er eru djarflyndir að draga út: netföng (100% nákvæmni með GPT-4), símanúmer (98%), póstnúmer og nöfn. Þeir geta einnig ályktað ekki-skýr PII: staðsetningu, tekjustig, aldur, kyn, atvinnu, menntun, borgaraleg staða og fæðingarstað frá óstöðugum textamerkjum og ritunarflæðum.
Hvað er aðildarályktunaaðfall (MIA)?
Aðildarályktunaaðföll ákvarða hvort tiltekin gögn væru notuð til að þjálfa gervigreindarlíkan. Fyrir LLM-er afhjúpar þetta hvort persónuupplýsingarnar þínar voru í þjálfunargagnasettinu. Rannsóknir sýna að netföng og símanúmer eru sérstaklega viðkvæm. Ný árásarvegur fela í sér tokenizer-byggða ályktunargerðir og greiningu á athyglimerkjum (AttenMIA).
Hvernig leka ábendingu innspýtingaraðföll persónuupplýsingum?
Ábendingu innspýting stjórnar LLM-agenturum til að leka persónuupplýsingum sem skoðuð voru meðan á verkefnakeyrslu stendur. Í bankagenturum-atburðum ná aðföll ~20% árásasamþykkishlutfalli við að exfiltrera persónuupplýsingar, með 15-50% gildisrýrnun notanda meðan á árás stendur. Þó að öryggisleiðrétting komi í veg fyrir lykilorðsleka er önnur persónuupplýsingar enn viðkvæm.
Hvernig getur anonym.legal verndað gegn LLM persónuverndaarásum?
anonym.legal veitir sannarlega dulnefnisgjöf í gegnum: (1) PII-skynjun - 285+ aðilategundir þar á meðal nöfn, staðir, dagsetningar, skrifmerki, (2) Skiptun - kemur fyrir raunverulegu PII með sniðnum valkostum, (3) Redaction - fjarlægir algjörlega viðkvæmar upplýsingar, (4) Afturkræf dulmál - AES-256-GCM fyrir tilföll sem krefjast heimildaðs aðgangs. Ólíkt dulnefni sem LLM-er sigrast á fjarlægir sannarlega dulnefnisgjöf merki sem LLM-er nota til afnafnunar.
Verndstu gegn LLM persónuverndaarásum
Treystu ekki dulnefni. Notaðu sannarlega dulnefnisgjöf til að verja viðkvæm skjöl, notandagögn og samskipti gegn gervigreindarkenndum auðkenningarárásum.