LLM adatvédelmi támadások kutatása
12 lektorált tudományos dolgozat, amely azt mutatja, hogy miért bukik meg az álnevezés az AI-vel szemben.
Deanonimizáció, személyes adatok kinyerése, tagság következtetése, promptinjekciós támadások — és hogyan lehet velük szembenézni.
Adatvédelmi támadások kategóriái
Deanonimizáció
Az LLM anonimous bejegyzéseket képes összevetni valódi identitásokkal, az írási stílus, tények és időbeli minták felhasználásával. 68% pontosság $1-$4/profil áron.
Attribútum következtetése
Az LLM személyes attribútumokat (helymeghatározás, jövedelem, kor) képes következtetni szövegből, még akkor is, ha nincsenek megadva. A GPT-4 85% top-1 pontosságot ér el.
Személyes adatok kinyerése
Személyes információ kinyerése tanítóadatokból vagy promptokból. 100% e-mail kinyerési pontosság GPT-4-gyel. 5-szörös növekedés fejlett támadásokkal.
Promptinjekció
Az LLM ügynökök manipulálása személyes adatok szivárgásához feladatkezelés során. ~20% támadás sikeraránya banki forgatókönyvekben.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Főbb megállapítás
68% recall at 90% precision for deanonymization using ESRC framework
Módszertan
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC keret
Az LLM azonosító tényeket nyernek ki anonimous bejegyzésekből
A tényeket felhasználva nyilvános adatbázisokat kérdez le (LinkedIn stb.)
Az LLM a jelölt mérkőzésekről érvel
Megbízhatósági pontszám a hamis pozitívok csökkentéséhez
Kísérleti eredmények
| Adatsor | Visszahívás @ 90% pontosság | Megjegyzések |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Következmények
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Összes tudományos dolgozat
11 további lektorált tanulmány az LLM adatvédelmi támadásokról
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Főbb megállapítások
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, et al. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Főbb megállapítások
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, et al. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Főbb megállapítások
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, et al. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Főbb megállapítások
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Főbb megállapítások
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, et al. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Főbb megállapítások
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, et al. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Főbb megállapítások
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, et al. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Főbb megállapítások
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Főbb megállapítások
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Főbb megállapítások
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Főbb megállapítások
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Védelmi stratégiák a kutatásból
Mi nem működik
- ✗Álnevezés — Az LLM meghódítanak felhasználóneveket, kezeléket, megjelenítési neveket
- ✗Szövegből képre konvertálás — Csak kis csökkentés a multimodális LLM-ek ellen
- ✗Csak modell igazítás — Jelenleg nem hatékony a következtetés megakadályozásában
- ✗Egyszerű szöveganonimizálás — Az LLM érveléshez nem megfelelő
Mi működik
- ✓Adverszális anonimizáció — Csökkenti a következtetést 66,3%-ról 45,3%-ra
- ✓Differenciális adatvédelem — Csökkenti a személyes adatok pontosságát 33,86%-ról 9,37%-ra
- ✓Promptinjekció védelme — A leghasznosabb az LLM-alapú személyes adatok kinyerése ellen
- ✓Valódi személyes adat eltávolítása/helyettesítése — Eltávolítja az LLM által használt jeleket
Miért fontos ez a kutatás
Ez a 12 tudományos dolgozat egy alapvető fordulópontot mutat az adatvédelmi fenyegetésekben. A hagyományos anonimizálási megközelítések, mint az álnevek, felhasználónevek és kezelések megváltoztatása, már nem nyújtanak elegendő védelmet az LLM-hez hozzáféréssel rendelkező elszánt ellenfelek ellen.
Fenyegetés mutatók
- 68% deanonimizáció pontosság 90% pontosságnál (Hacker News → LinkedIn)
- 85% attribútum következtetés pontosság helymeghatározás, jövedelem, kor, foglalkozás tekintetében
- 100% e-mail kinyerés és 98% telefonszám kinyerés (GPT-4)
- 5-szörös személyes adat szivárgás növekedés kifinomult több lekérdezéses támadásokkal
- $1-$4 költség profilonként lehetővé teszi a tömeges támadásokat gazdaságilag
Ki van kockázatban
- Zúzmarázók és aktivisták: A nyilvánosság bejegyzések valódi identitásokhoz köthetők
- Szakemberek: Reddit tevékenység LinkedIn profilokhoz kötve
- Egészségügyi betegek: A tagság következtetése fellebbenti, hogy az adatok a képzésben voltak-e
- Bárki, aki történeti bejegyzéseket tartalmaz: Évek adatai retroaktívan deanonimizálhatók lehetnek
Hogyan kezeli az anonym.legal ezeket a fenyegetéseket
Az anonym.legal valódi anonimizálást biztosít, amely eltávolítja az LLM által használt jeleket:
- 285+ entitás típus: Nevek, helyek, dátumok, időbeli jelölések, azonosítók
- Írási mintázat fennakadása: Helyettesít a szöveg, amely a stilometrikus ujjlenyomatot felfedi
- Fordítható titkosítás: AES-256-GCM az engedélyezett hozzáférést igénylő esetekhez
- Több operátor: Cserélje, Törölje, Kivonat, Titkosít, Maszk, Egyéni
Gyakran ismételt kérdések
Mi az LLM-alapú deanonimizáció?
Az LLM-alapú deanonimizáció nagy nyelvi modelleket használ a valódi személyek azonosítására az anonim vagy feltételezett internetes bejegyzésekből. Az olyan hagyományos módszerektől eltérően, amelyek méretekben nem működnek, az LLM képes az írási stílus elemzésének (stilometria), az adott tények, az időbeli minták és a kontextus érvelésének kombinálásával az anonim profilokat valódi identitásokhoz viszonyítani. A kutatások azt mutatják, hogy a pontosság akár 68% is lehet 90% pontossággal, összehasonlítva a klasszikus módszerek csaknem 0%-ával.
Mennyire pontos az LLM-alapú deanonimizáció?
A kutatások aggasztó pontossági szinteket mutatnak: 68% visszahívás 90% pontossággal a Hacker News-ből LinkedInbe történő párosításhoz, 67% a Reddit időbeli elemzéséhez (ugyanaz a felhasználó időben), 35% internetes léptékben (1M+ jelölt). Az attribútum következtetéshez a GPT-4 85% top-1 pontosságot ér el, személyes attribútumokat (helytől, jövedelemig, kortól, foglalkozásig) kell összefoglalni, csak a Reddit bejegyzésekből.
Mi az ESRC keret?
Az ESRC (Extract-Search-Reason-Calibrate) egy négy lépéses LLM deanonimizáció keret: (1) Kinyerés - Az LLM azonosító tényeket nyer ki anonimous bejegyzésekből az NLP használatával, (2) Keresés - nyilvános adatbázisokat kérdez le, mint a LinkedIn, a kinyert tények és a szemantikai beágyazások felhasználásával, (3) Érvelés - Az LLM érvel a jelölt párosításokról az összhang elemzésével, (4) Kalibrálás - megbízhatósági pontszám a hamis pozitívok csökkentéséhez, miközben maximalizálja az igazi párosítást.
Mennyibe kerül az LLM-alapú deanonimizáció?
A kutatások azt mutatják, hogy az LLM-alapú deanonimizáció profilonként 1-4 dollárba kerül, így a tömeges deanonimizáció gazdaságilag megvalósítható. A védelmi anonimizáláshoz a költség kevesebb, mint 0,035 dollár megjegyzésekként a GPT-4 használatával. Ez az alacsony ár lehetővé teszi az állami szereplők, vállalatok, üldöztetők és rosszindulatú egyének nagy léptékű adatvédelmi támadások végzését.
Milyen típusú személyes információkat képesek az LLM-ek kinyerni a szövegből?
Az LLM-ek kitűnően kinyerik az e-mail címeket (100% pontosság a GPT-4 használatával), telefonszámokat (98%), postafiók címeket és neveket. Képesek továbbá implicit személyes adatokra következtetni: helymeghatározás, jövedelmi szint, kor, nem, foglalkozás, képzés, családi állapot és születési hely a finomított szövegi jelek és írási minták alapján.
Mi az a tagság-következtetési támadás (MIA)?
A tagság-következtetési támadások megállapítják, hogy bizonyos adatok felhasználták-e az AI-modell képzéséhez. Az LLM-ek esetében ez feltárja, hogy személyes adatai a képzési adatkészletben voltak-e. A kutatások azt mutatják, hogy az e-mail címek és telefonszámok különösen sebezhetőek. Az új támadási vektorok közé tartozik a tokenizeálás alapú következtetés és a figyelem jel elemzése (AttenMIA).
Hogyan szivárognak személyes adatokat a promptinjekciós támadások?
A promptinjekció az LLM ügynökök manipulálása, hogy személyes adatokat szivárogtatanak a feladatkezelés során. Banki forgatókönyvekben a támadások ~20% sikeraránya érik el a személyes adatok kijuttatásakor, 15-50% hasznosságcsökkentéssel a támadás alatt. Míg a biztonsági igazítás megakadályozza a jelszó szivárgást, más személyes adatok továbbra is sebezhetőek.
Hogyan segíthet az anonym.legal az LLM adatvédelmi támadások elleni védelemben?
Az anonym.legal valódi anonimizálást biztosít: (1) Személyes adatok felismerése - 285+ entitás típus, beleértve a neveket, helyeket, dátumokat, írási mintákat, (2) Helyettesítés - formátum-érvényes alternatívákkal helyettesíti a valódi személyes adatokat, (3) Redakcó - teljes mértékben eltávolítja az érzékeny információkat, (4) Fordítható titkosítás - AES-256-GCM az engedélyezett hozzáféréshez. Az LLM meghódított álnevezéssel szemben a valódi anonimizáció eltávolítja az LLM által a deanonimizáláshoz használt jeleket.
Védje meg magát az LLM adatvédelmi támadásoktól
Ne hagyatkozzon az álnevezésre. Használjon valódi anonimizálást az érzékeny dokumentumok, felhasználói adatok és kommunikáció védelméhez az AI-alapú azonosítási támadásoktól.