LLM-yksityisyydensuoja-hyökkäystutkimus
12 vertaisarvioitua tutkimusartikkelia, jotka osoittavat, miksi pseudonymiteetti epäonnistuu tekoälyä vastaan.
Tunnistamisen poistaminen, PII-poimiminen, jäsenyysjohtopäätös, kehotteosotantohyökkäykset — ja kuinka puolustat itseäsi.
Yksityisyydensuoja-hyökkäykset luokittain
Tunnistamisen poistaminen
LLM:t vastaavat anonyymeja kirjoituksia todellisiin identititeetteihin kirjoitustyylin, faktojen ja ajallisten kuvioiden perusteella. 68% tarkkuus $1-$4/profiili.
Ominaisuuksien johtopäätös
LLM:t päättelevät henkilökohtaisia ominaisuuksia (sijainti, tulot, ikä) tekstistä, vaikka niitä ei olisi mainittu. GPT-4 saavuttaa 85% top-1-tarkkuuden.
PII-poimiminen
Henkilökohtaisten tietojen poimiminen koulutustiedoista tai kehotteista. 100% sähköpostin poiminnan tarkkuus GPT-4:llä. 5× lisääntyminen kehittyneillä hyökkäyksillä.
Kehotteen injektio
LLM-agenttien manipulointi henkilökohtaisten tietojen vuotamiseksi tehtävän suorittamisen aikana. ~20% hyökkäysonnistumisprosentti pankkiskenaarioissa.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Tärkeä löydös
68% recall at 90% precision for deanonymization using ESRC framework
Metodologia
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC-kehys
LLM poimii tunnistavia faktoja anonyymistä kirjoituksista
Käyttää faktoja julkisten tietokantojen kyselyyn (LinkedIn jne.)
LLM päättelee mahdollisista vastaavuuksista
Luottamuspisteet väärien positiivisten minimoimiseksi
Kokeelliset tulokset
| Tietojoukko | Palautus @ 90% tarkkuus | Huomautukset |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Vaikutukset
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Kaikki tutkimusartikkelit
11 muuta vertaisarvioitua tutkimusta LLM-yksityisyydensuoja-hyökkäyksistä
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Tärkeät löydökset
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Tärkeät löydökset
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Tärkeät löydökset
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Tärkeät löydökset
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Tärkeät löydökset
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Tärkeät löydökset
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Tärkeät löydökset
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Tärkeät löydökset
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Tärkeät löydökset
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Tärkeät löydökset
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Tärkeät löydökset
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Puolustusstrategiat tutkimuksesta
Mikä ei toimi
- ✗Pseudonymisaatio — LLM:t voittavat käyttäjännimet, käsitteet, näyttönimia
- ✗Tekstistä kuvaksi muuntaminen — Vain pieni väheneminen multimodaaleja LLM:iä vastaan
- ✗Mallien yhteensovitus yksin — Tällä hetkellä tehoton johtopäätösten estämisessä
- ✗Yksinkertainen tekstin anonymisaatio — Riittämätön LLM:n päättelyä vastaan
Mikä toimii
- ✓Vastustava anonymisaatio — Vähentää johtopäätöstä 66,3% → 45,3%
- ✓Differentiaali yksityisyys — Vähentää PII-tarkkuutta 33,86% → 9,37%
- ✓Kehotteen injektio puolustus — Tehokkain LLM-pohjaista PIE:tä vastaan
- ✓Todellinen PII-poistaminen/korvaaminen — Poistaa signaalit, joita LLM:t käyttävät
Miksi tämä tutkimus on tärkeää
Nämä 12 tutkimusartikkelia osoittavat yksityisyyden uhkissa perustavaa laatua olevan muutoksen. Perinteiset anonymisointimenetelmät, kuten pseudonyymit, käyttäjänimet ja kahvan vaihdot eivät ole enää riittävä suoja päättäväisiä vastustajia vastaan, joilla on pääsy LLM:iin.
Keskeiset uhatmittaukset
- 68% tunnistamisen poistamisen tarkkuus 90% tarkkuudella (Hacker News → LinkedIn)
- 85% ominaisuuksien johtopäätöksen tarkkuus sijainnille, tuloille, iälle, ammattille
- 100% sähköpostin poiminnan ja 98% puhelinnumeron poiminnan tarkkuus (GPT-4)
- 5× PII:n vuotamisen lisääntyminen kehittyneillä monista kyselyistä tehdyillä hyökkäyksillä
- $1-$4 kustannus profiilia kohti tekee massahyökkäyksistä taloudellisesti toteutettavissa
Kuka on riskinä
- Ilmiantajat ja aktivistit: Anonyymit kirjoitukset voidaan yhdistää todellisiin identititeetteihin
- Ammattilaiset: Reddit-aktiviteetti yhdistetty LinkedIn-profiileihin
- Potilaat: Jäsenyysjohtopäätös paljastaa, olivatko tiedot koulutuksessa
- Kuka tahansa, jolla on historiallisia kirjoituksia: Vuosien tiedot voidaan poistaa tunnistamisesta jälkikäteen
Kuinka anonym.legal käsittelee näitä uhkia
anonym.legal tarjoaa todellisen anonymisaation, joka poistaa signaalit, joita LLM:t käyttävät:
- 285+ kokonaisuustyyppiä: Nimet, paikat, päivämäärät, aikaustunnisteet, tunnisteita
- Kirjoituskuvion häiriö: Korvaa tekstin, joka paljastaa stilometrisen sormenjäljen
- Peruutettava salaus: AES-256-GCM tapauksille, jotka vaativat valtuutettua pääsyä
- Useita operaattoreita: Korvaa, Punainen, Hash, Salaus, Maski, Mukautettu
Usein kysytyt kysymykset
Mikä on LLM-pohjainen tunnistamisen poistaminen?
LLM-pohjainen tunnistamisen poistaminen käyttää suuria kielimalleja tunnistaakseen oikeat henkilöt anonyymistä tai pseudonyymeistä verkkojulkaisuista. Toisin kuin perinteiset menetelmät, jotka epäonnistuvat laajassa mittakaavassa, LLM:t voivat yhdistää kirjoitustyylin analyysin (stilometria), ilmoitettuja faktoja, ajallisia kuvioita ja kontektuaalista päättelyä vastaaviksi nimettömiksi profiileiksi todellisiin identititeetteihin. Tutkimus osoittaa jopa 68% tarkkuutta 90% tarkkuudella, verrattuna lähes 0% klassisiin menetelmiin.
Kuinka tarkka on LLM-pohjainen tunnistamisen poistaminen?
Tutkimus osoittaa huolestuttavaa tarkkuuden tasoa: 68% palauttaminen 90% tarkkuudella Hacker Newsin ja LinkedIn-vastaavuuksille, 67% Reddit-ajalliselle analyysillle (sama käyttäjä ajan mittaan), 35% internet-mittakaavalla (1M+ ehdokkaita). Ominaisuuksien johtopäätökselle GPT-4 saavuttaa 85% top-1-tarkkuuden johtopäätösten henkilökohtaisista ominaisuuksista, kuten sijainti, tulot, ikä ja ammatti pelkästään Reddit-kirjoituksista.
Mikä on ESRC-kehys?
ESRC (Extract-Search-Reason-Calibrate) on neliportainen LLM-pohjainen tunnistamisen poistamisen kehys: (1) Poiminta - LLM poimii tunnistavia faktoja anonyymistä kirjoituksista NLP:n avulla, (2) Haku - kyselee julkisia tietokantoja, kuten LinkedIniä poimittujen faktojen ja semanttisten upotuksien avulla, (3) Päättely - LLM päättelee mahdollisista vastaavuuksista analysoimalla johdonmukaisuutta, (4) Kalibrointi - luottamuspisteet väärien positiivisten minimoimiseksi samalla kun maksimoituvat todelliset vastaavuudet.
Kuinka paljon LLM-pohjainen tunnistamisen poistaminen maksaa?
Tutkimus osoittaa, että LLM-pohjainen tunnistamisen poistaminen maksaa $1-$4 profiilia kohti, mikä tekee massatunnistamisen poistamisesta taloudellisesti toteutettavissa. Puolustavaa anonymisaatiota varten se maksaa alle 0,035 dollaria per kommentti GPT-4:llä. Tämä alhainen kustannus antaa valtion toimijoille, yrityksille, seuraaville ja ilkivallallisille henkilöille mahdollisuuden suorittaa laajamittaisia yksityisyyden loukkaavaksi mieltämät hyökkäykset.
Minkä tyyppisiä PII:itä LLM:t voivat poimia tekstistä?
LLM:t ovat hyviä poimimaan: sähköpostiosoitteita (100% tarkkuus GPT-4:llä), puhelinnumeroita (98%), postiosoitteita ja nimiä. Ne voivat myös päätellä ei-eksplisiittisiä PII:itä: sijainti, tulojen taso, ikä, sukupuoli, ammatti, koulutus, siviilisääty ja syntymäpaikka subtiilistä tekstisignaaleista ja kirjoituskuvioista.
Mikä on jäsenyyshyökkäys (MIA)?
Jäsenyysjohtopäätöshyökkäykset määrittävät, käytettiin tietyillä tiedoilla tekoälymallin koulutukseen. LLM:ille tämä paljastaa, olivatko henkilökohtaiset tietosi koulutustietojoukossa. Tutkimus osoittaa, että sähköpostiosoitteet ja puhelinnumerot ovat erityisen haavoittuvia. Uudet hyökkäysvektorit sisältävät tokenizer-pohjaisen johtopäätöksen ja huomiojännitteen signaalin analyysin (AttenMIA).
Kuinka kehotteen injektio-hyökkäykset vuotavat henkilökohtaisia tietoja?
Kehotteen injektio manipuloi LLM-agentteja vuotamaan henkilökohtaisia tietoja, jotka havaittiin tehtävän suorittamisen aikana. Pankkiagenttiskenaarioissa hyökkäykset saavuttavat ~20% onnistumisprosentin henkilökohtaisten tietojen exfiltroimiseksi, 15-50% käyttöarvon heikkenemisellä hyökkäyksen aikana. Vaikka turvallisuuden yhteensovitus estää salasanan vuodot, muut henkilökohtaiset tiedot jäävät haavoittuviksi.
Kuinka anonym.legal voi suojella LLM-yksityisyyden hyökkäyksiltä?
anonym.legal tarjoaa todellisen anonymisaation: (1) PII-havaitseminen - 285+ kokonaisuustyyppiä, mukaan lukien nimet, paikat, päivämäärät, kirjoituskuviot, (2) Korvaaminen - korvaa todellisen PII:n muotokelpoisten vaihtoehtojen kanssa, (3) Redaktion - poistaa täysin arkaluonteisia tietoja, (4) Peruutettava salaus - AES-256-GCM valtuutetun pääsyn tapauksille. Toisin kuin pseudonymisaatio, jonka LLM:t voittavat, todellinen anonymisaatio poistaa signaalit, joita LLM:t käyttävät tunnistamisen poistamiseen.
Suojaa LLM-yksityisyysloukkauksia vastaan
Älä luota pseudonymiiteettiin. Käytä todellista anonymisaatiota arkaluonteisten asiakirjojen, käyttäjätietojen ja tiedonsiirron suojaamiseen tekoäly-ohjatulta tunnistushyökkäyksiltä.