프라이버시 공격 범주
익명성 제거
LLM은 쓰기 스타일, 사실, 시간적 패턴을 사용하여 익명 게시물을 실제 신원과 일치시킵니다. 프로필당 $1-$4로 68% 정확도를 달성합니다.
속성 추론
LLM은 명시되지 않은 경우에도 텍스트에서 개인 속성(위치, 소득, 나이)을 추론합니다. GPT-4는 85% top-1 정확도를 달성합니다.
PII 추출
훈련 데이터 또는 프롬프트에서 개인 정보를 추출합니다. GPT-4로 100% 이메일 추출 정확도를 달성합니다. 고급 공격으로 5배 증가합니다.
프롬프트 주입
LLM 에이전트를 조작하여 작업 실행 중 개인 데이터를 유출합니다. 은행 시나리오에서 약 20% 공격 성공률입니다.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
주요 발견
68% recall at 90% precision for deanonymization using ESRC framework
방법론
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
ESRC 프레임워크
LLM이 익명 게시물에서 식별 사실 추출
추출된 사실을 사용하여 공개 데이터베이스(LinkedIn 등) 쿼리
LLM이 후보 일치 항목에 대해 추론
거짓 양성을 최소화하는 신뢰도 점수 매기기
실험 결과
| 데이터세트 | Recall @ 90% 정확도 | 참고 |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
함의
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
모든 연구 논문
LLM 프라이버시 공격에 대한 11개의 추가 동료 심사 논문
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, 외 (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
주요 발견
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, 외 (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
주요 발견
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, 외 (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
주요 발견
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, 외 (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
주요 발견
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
주요 발견
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, 외 (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
주요 발견
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, 외 (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
주요 발견
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, 외 (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
주요 발견
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
주요 발견
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
주요 발견
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
주요 발견
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
연구 기반 방어 전략
작동하지 않는 것
- ✗의사명 처리 — LLM이 사용자명, 핸들, 표시 이름을 격파
- ✗텍스트-이미지 변환 — 다중모달 LLM에 대해 약간의 감소만 나타남
- ✗모델 정렬 단독 — 현재 추론 방지에 비효과적
- ✗단순 텍스트 익명화 — LLM 추론에 불충분
작동하는 것
- ✓대적적 익명화 — 추론을 66.3% → 45.3% 감소
- ✓차등 프라이버시 — PII 정밀도를 33.86% → 9.37% 감소
- ✓프롬프트 주입 방어 — LLM 기반 PIE에 가장 효과적
- ✓진정한 PII 제거/교체 — LLM이 사용하는 신호 제거
이 연구가 중요한 이유
이 12개의 연구 논문은 프라이버시 위협의 근본적인 변화를 보여줍니다. 의사명, 사용자명, 핸들 변경과 같은 전통적인 익명화 접근 방식은 LLM에 접근할 수 있는 결정된 적대자에 대해 더 이상 충분한 보호가 아닙니다.
주요 위협 지표
- 90% 정확도에서 68% 익명성 제거 정확도 (Hacker News → LinkedIn)
- 위치, 소득, 나이, 직업에 대한 85% 속성 추론 정확도
- 100% 이메일 추출 및 98% 전화번호 추출 (GPT-4)
- 정교한 다중 쿼리 공격으로 5배의 PII 유출 증가
- 프로필당 $1-$4의 비용으로 대규모 공격이 경제적으로 가능
위험에 처한 사람
- 내부고발자 및 활동가: 익명 게시물이 실제 신원과 연결될 수 있음
- 전문가: Reddit 활동이 LinkedIn 프로필과 연결됨
- 의료 환자: 멤버십 추론으로 데이터가 훈련에 포함되었는지 여부 공개
- 역사적 게시물이 있는 누구나: 수년간의 데이터를 소급하여 익명성 제거할 수 있음
anonym.legal이 이러한 위협을 해결하는 방법
anonym.legal은 LLM이 사용하는 신호를 제거하는 진정한 익명화를 제공합니다:
- 285+ 엔티티 타입: 이름, 위치, 날짜, 시간적 마커, 식별자
- 쓰기 패턴 파괴: 문체적 지문을 드러내는 텍스트 교체
- 가역적 암호화: 권한이 있는 접근이 필요한 경우 AES-256-GCM
- 여러 운영자: 교체, 편집, 해시, 암호화, 마스크, 사용자 정의
자주 묻는 질문
LLM 기반 익명성 제거란 무엇입니까?
LLM 기반 익명성 제거는 대형 언어 모델을 사용하여 익명 또는 의사명의 온라인 게시물에서 실제 개인을 식별합니다. 규모에 따라 실패하는 전통적인 방법과 달리 LLM은 쓰기 스타일 분석(문체), 명시된 사실, 시간적 패턴, 상황적 추론을 결합하여 익명 프로필을 실제 신원과 일치시킬 수 있습니다. 연구에 따르면 90% 정확도에서 최대 68%의 정확도를 보여주며, 이는 고전적 방법의 거의 0%와 비교됩니다.
LLM 익명성 제거의 정확도는 얼마나 높습니까?
연구에서는 놀라운 정확도 수준을 보여줍니다: Hacker News에서 LinkedIn으로 일치할 때 90% 정확도에서 68% 재현율, Reddit 시간적 분석에서 67% (시간 경과에 따른 동일 사용자), 인터넷 규모에서 35% (100만 이상의 후보). 속성 추론의 경우 GPT-4는 Reddit 게시물만으로 위치, 소득, 나이, 직업과 같은 개인 속성을 추론하여 85% top-1 정확도를 달성합니다.
ESRC 프레임워크란 무엇입니까?
ESRC (추출-검색-추론-보정)는 4단계 LLM 익명성 제거 프레임워크입니다: (1) 추출 - LLM이 NLP를 사용하여 익명 게시물에서 식별 사실을 추출, (2) 검색 - 추출된 사실과 의미 임베딩을 사용하여 LinkedIn과 같은 공개 데이터베이스를 쿼리, (3) 추론 - LLM이 후보 일치 항목의 일관성을 분석하여 추론, (4) 보정 - 거짓 양성을 최소화하면서 참 일치를 최대화하는 신뢰도 점수 매기기.
LLM 익명성 제거 비용은 얼마나 됩니까?
연구에 따르면 LLM 기반 익명성 제거 비용은 프로필당 $1-$4로, 대규모 익명성 제거가 경제적으로 가능함을 의미합니다. 방어적 익명화의 경우 GPT-4를 사용하여 댓글당 비용이 $0.035 미만입니다. 이러한 낮은 비용으로 국가 행위자, 기업, 스토커 및 악의적인 개인이 대규모 프라이버시 공격을 수행할 수 있습니다.
LLM이 텍스트에서 어떤 유형의 PII를 추출할 수 있습니까?
LLM은 다음 추출에 탁월합니다: 이메일 주소 (GPT-4로 100% 정확도), 전화번호 (98%), 우편 주소, 이름. 또한 암묵적 PII를 추론할 수 있습니다: 미묘한 텍스트 단서와 쓰기 패턴에서 위치, 소득 수준, 나이, 성별, 직업, 교육, 관계 상태, 출생지.
멤버십 추론 공격 (MIA)이란 무엇입니까?
멤버십 추론 공격은 특정 데이터가 AI 모델을 훈련하는 데 사용되었는지를 결정합니다. LLM의 경우, 이는 개인 정보가 훈련 데이터셋에 있었는지 공개합니다. 연구에서는 이메일 주소와 전화번호가 특히 취약함을 보여줍니다. 새로운 공격 벡터에는 토크나이저 기반 추론과 관심 신호 분석 (AttenMIA)이 포함됩니다.
프롬프트 주입 공격은 어떻게 개인 데이터를 유출합니까?
프롬프트 주입은 LLM 에이전트를 조작하여 작업 실행 중 관찰되는 개인 데이터를 유출합니다. 은행 에이전트 시나리오에서 공격은 개인 데이터 유출에서 약 20%의 성공률을 달성하고, 15-50%의 유틸리티 저하가 발생합니다. 안전 정렬이 비밀번호 유출을 방지하는 동안 다른 개인 데이터는 여전히 취약합니다.
anonym.legal이 LLM 프라이버시 공격으로부터 보호하는 데 어떻게 도움이 됩니까?
anonym.legal은 다음을 통해 진정한 익명화를 제공합니다: (1) PII 탐지 - 이름, 위치, 날짜, 쓰기 패턴을 포함한 285+ 엔티티 타입, (2) 교체 - 실제 PII를 형식이 유효한 대안으로 대체, (3) 편집 - 민감한 정보 완전 제거, (4) 가역적 암호화 - 권한이 있는 접근을 위한 AES-256-GCM. LLM이 격파하는 의사명 처리와 달리 진정한 익명화는 LLM이 익명성 제거에 사용하는 신호를 제거합니다.