Έρευνα επιθέσεων ιδιωτικότητας LLM
12 κριτικές επιστημονικές εργασίες που δείχνουν γιατί το ψευδωνυμία αποτυγχάνει έναντι της AI.
Αναγνώριση ταυτότητας, εξαγωγή PII, συμπερασμάτων ένταξης, επιθέσεις εγχύσεως προτροπής — και πώς να προστατευτείτε.
Κατηγορίες επιθέσεων ιδιωτικότητας
Αναγνώριση ταυτότητας
Τα LLM ταιριάζουν ανώνυμες αναρτήσεις με πραγματικές ταυτότητες χρησιμοποιώντας στυλ γραφής, γεγονότα και χρονικές προσχέσεις. Ακρίβεια 68% στα $1-$4/προφίλ.
Συμπέρασμα χαρακτηριστικών
Τα LLM συμπεραίνουν προσωπικά χαρακτηριστικά (τοποθεσία, εισόδημα, ηλικία) από κείμενο ακόμα και όταν δεν δηλώνονται. Το GPT-4 επιτυγχάνει ακρίβεια top-1 85%.
Εξαγωγή PII
Εξαγωγή προσωπικών πληροφοριών από δεδομένα εκπαίδευσης ή προτροπών. Ακρίβεια εξαγωγής ηλεκτρονικής αλληλογραφίας 100% με GPT-4. Αύξηση 5× με προηγμένες επιθέσεις.
Εγχύσεις προτροπής
Χειραγώγηση πρακτόρων LLM για διαρροή προσωπικών δεδομένων κατά την εκτέλεση εργασιών. ~20% ποσοστό επιτυχίας επίθεσης σε τραπεζικά σενάρια.
Large-scale online deanonymization with LLMs
Simon Lermen (MATS), Daniel Paleka (ETH Zurich), Joshua Swanson (ETH Zurich), Michael Aerni (ETH Zurich), Nicholas Carlini (Anthropic), Florian Tramèr (ETH Zurich)
Published: February 18, 2026
Βασικό εύρημα
68% recall at 90% precision for deanonymization using ESRC framework
Μεθοδολογία
Designed attacks for closed-world setting with scalable attack pipeline using LLMs to: (1) extract identity-relevant features, (2) search for candidate matches via semantic embeddings, (3) reason over top candidates to verify matches and reduce false positives.
Πλαίσιο ESRC
Το LLM εξάγει γεγονότα ταυτοποίησης από ανώνυμες αναρτήσεις
Χρησιμοποιεί γεγονότα για αναζήτηση δημοσίων βάσεων δεδομένων (LinkedIn, κλπ.)
Το LLM συλλογίζεται για υποψηφίες αντιστοιχίες
Βαθμολόγηση εμπιστοσύνης για ελαχιστοποίηση ψευδών θετικών
Πειραματικά αποτελέσματα
| Σύνολο δεδομένων | Ανάκληση @ 90% ακρίβεια | Σημειώσεις |
|---|---|---|
| Hacker News → LinkedIn | 68% | vs near 0% for classical methods |
| Reddit cross-community | 8.5% | Multiple subreddits |
| Reddit temporal split | 67% | Same user over time |
| Internet-scale (extrapolated) | 35% | At 1M candidates |
Συνέπειες
Practical obscurity protecting pseudonymous users online no longer holds. Classical methods achieve near 0% recall under same conditions.
Όλες οι ερευνητικές εργασίες
11 πρόσθετες κριτικές επιστημονικές εργασίες για επιθέσεις ιδιωτικότητας LLM
Beyond Memorization: Violating Privacy via Inference with Large Language Models
Robin Staab, Mark Vero, Mislav Balunović, και συν. (ETH Zurich)
85% top-1 accuracy inferring personal attributes from Reddit posts
First comprehensive study on LLM capabilities to infer personal attributes from text. GPT-4 achieved highest accuracy among 9 tested models.
Κύρια ευρήματα
- •85% top-1 accuracy, 95% top-3 accuracy at inferring personal attributes
- •100× cheaper and 240× faster than human annotators
- •Tested 9 state-of-the-art LLMs including GPT-4, Claude 2, Llama 2
- •Infers location, income, age, sex, profession from subtle text cues
AutoProfiler: Automated Profile Inference with Language Model Agents
Yuntao Du, Zitao Li, Bolin Ding, και συν. (Virginia Tech, Alibaba, Purdue University)
85-92% accuracy for automated profiling at scale using four specialized LLM agents
Framework using specialized LLM agents (Strategist, Extractor, Retriever, Summarizer) for automated profile inference from pseudonymous platforms.
Κύρια ευρήματα
- •Four specialized agents: Strategist, Extractor, Retriever, Summarizer
- •Iterative workflow enables sequential scraping, analysis, and inference
- •Outperforms baseline FTI across all attributes and LLM backbones
- •Short-term memory for Extractor/Retriever, long-term memory for Strategist/Summarizer
Large Language Models are Advanced Anonymizers
Robin Staab, Mark Vero, Mislav Balunović, και συν. (ETH Zurich SRI Lab)
Adversarial anonymization reduces attribute inference from 66.3% to 45.3% after 3 iterations
LLMs can be used defensively in adversarial framework to anonymize text. Outperforms commercial anonymizers in both privacy and utility.
Κύρια ευρήματα
- •Adversarial feedback enables anonymization of significantly finer details
- •Attribute inference accuracy drops from 66.3% to 45.3% after 3 iterations
- •Evaluated 13 LLMs on real-world and synthetic online texts
- •Human study (n=50) showed strong preference for LLM-anonymized texts
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov, και συν. (Meta AI, CMU)
GPT-4, Llama-3, and Claude web agents are prone to inadvertent use of unnecessary sensitive information
Benchmark measuring if AI web agents follow data minimization principle. Simulates realistic web interactions across GitLab, Shopping, and Reddit.
Κύρια ευρήματα
- •Evaluates GPT-4, Llama-3, Claude-powered web navigation agents
- •Measures data minimization compliance: use PII only if 'necessary' for task
- •Agents often leak sensitive information when unnecessary
- •Three test environments: GitLab, Shopping, Reddit web apps
SoK: The Privacy Paradox in Large Language Models
Various researchers
Systematization of 5 distinct privacy incident categories beyond memorization
Comprehensive survey categorizing privacy risks: training data leakage, chat leakage, context leakage, attribute inference, and attribute aggregation.
Κύρια ευρήματα
- •Five privacy incident categories identified:
- •1. Training data leakage via regurgitation
- •2. Direct chat leakage through provider breaches
- •3. Indirect context leakage via agents and prompt injection
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, και συν. (Various)
PII extraction rates increase up to 5× with sophisticated adversarial capabilities and limited query budget
Comprehensive benchmark for PII extraction attacks. Reveals notable underestimation of PII leakage in existing single-query attacks.
Κύρια ευρήματα
- •PII extraction rates can increase up to 5× with sophisticated attacks
- •Existing single-query attacks notably underestimate PII leakage
- •Taxonomy: Black-box (True-prefix, ICL, PII Compass) and White-box (SPT) attacks
- •Hyperparameters like demonstration selection crucial to attack effectiveness
Evaluating LLM-based Personal Information Extraction and Countermeasures
Yupei Liu, Yuqi Jia, Jinyuan Jia, και συν. (Penn State, Duke University)
GPT-4 achieves 100% accuracy extracting emails and 98% for phone numbers from synthetic profiles
Systematic measurement study benchmarking LLM-based personal information extraction (PIE). Proposes prompt injection as novel defense.
Κύρια ευρήματα
- •GPT-4: 100% email extraction, 98% phone number extraction on synthetic data
- •Larger LLMs more successful: vicuna-7b achieves 65%/95% vs GPT-4's 100%/98%
- •LLMs better at: emails, phone numbers, addresses, names
- •LLMs worse at: work experience, education, affiliation, occupation
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Michele Miranda, Elena Sofia Ruzzetti, Andrea Santilli, και συν. (Various)
Comprehensive taxonomy of privacy attacks: training data extraction, membership inference, model inversion
Survey examining privacy threats from LLM memorization. Proposes solutions from dataset anonymization to differential privacy and machine unlearning.
Κύρια ευρήματα
- •Privacy attacks covered: Training data extraction, Membership inference, Model inversion
- •Training data extraction: non-adversarial and adversarial prompting
- •Membership inference: shadow models and threshold-based approaches
- •Model inversion: output inversion and gradient inversion
Beyond Data Privacy: New Privacy Risks for Large Language Models
Various researchers
LLM autonomous capabilities create new vulnerabilities for inadvertent data leakage and malicious exfiltration
Explores privacy vulnerabilities from LLM integration into applications and weaponization of autonomous abilities.
Κύρια ευρήματα
- •LLM integration creates new privacy vulnerabilities beyond traditional risks
- •Opportunities for both inadvertent leakage and malicious exfiltration
- •Adversaries can exploit systems for sophisticated large-scale privacy attacks
- •Autonomous LLM abilities can be weaponized for data exfiltration
Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents
Various researchers
15-50% utility drop under attack with ~20% average attack success rate for personal data leakage
Examines prompt injection causing tool-calling agents to leak personal data during task execution. Uses fictitious banking agent scenario.
Κύρια ευρήματα
- •16 user tasks from AgentDojo benchmark evaluated
- •15-50 percentage point drop in LLM utility under attack
- •~20% average attack success rate across LLMs
- •Most LLMs avoid leaking passwords due to safety alignments
Membership Inference Attacks on Large-Scale Models: A Survey
Various researchers
First comprehensive review of MIAs targeting LLMs and LMMs across pre-training, fine-tuning, alignment, and RAG stages
Survey analyzing membership inference attacks by model type, adversarial knowledge, strategy, and pipeline stage.
Κύρια ευρήματα
- •Analyzes MIAs across: pre-training, fine-tuning, alignment, RAG stages
- •Strong MIAs require training multiple reference models (computationally expensive)
- •Weaker attacks often perform no better than random guessing
- •Tokenizers identified as new attack vector for membership inference
Στρατηγικές άμυνας από την έρευνα
Τι δεν λειτουργεί
- ✗Ψευδωνυμία — Τα LLM ξεπερνούν ονόματα χρήστη, λαβές, εμφανιζόμενα ονόματα
- ✗Μετατροπή κειμένου σε εικόνα — Μόνο ελάχιστη μείωση έναντι πολυτροπικών LLM
- ✗Ευθυγράμμιση μοντέλου — Αυτή τη στιγμή αναποτελεσματική στην πρόληψη συμπερασμάτων
- ✗Απλή ανωνυμοποίηση κειμένου — Ανεπαρκής έναντι συλλογισμού LLM
Τι λειτουργεί
- ✓Αντίπαλη ανωνυμοποίηση — Μειώνει συμπέρασμα 66,3% → 45,3%
- ✓Διαφορική ιδιωτικότητα — Μειώνει ακρίβεια PII 33,86% → 9,37%
- ✓Άμυνα εγχύσεως προτροπής — Πιο αποτελεσματική έναντι PIE βάσης LLM
- ✓Αληθινή αφαίρεση/αντικατάσταση PII — Αφαιρεί σήματα που χρησιμοποιούν τα LLM
Γιατί σημασία αυτή η έρευνα
Αυτές οι 12 ερευνητικές εργασίες καταδεικνύουν μια θεμελιώδη αλλαγή στις απειλές ιδιωτικότητας. Οι παραδοσιακές προσεγγίσεις ανωνυμοποίησης όπως τα ψευδώνυμα, τα ονόματα χρηστών και οι αλλαγές λαβών δεν αποτελούν πλέον επαρκή προστασία έναντι αποφασισμένων αντιπάλων με πρόσβαση σε LLM.
Βασικές μετρικές απειλών
- Ακρίβεια αναγνώρισης ταυτότητας 68% στο 90% ακρίβεια (Hacker News → LinkedIn)
- Ακρίβεια συμπεράσματος χαρακτηριστικών 85% για τοποθεσία, εισόδημα, ηλικία, επάγγελμα
- Εξαγωγή ηλεκτρονικής αλληλογραφίας 100% και εξαγωγή αριθμού τηλεφώνου 98% (GPT-4)
- Αύξηση 5× στη διαρροή PII με περίπλοκες επιθέσεις πολλαπλών ερωτημάτων
- Κόστος $1-$4 ανά προφίλ κάνει τις επιθέσεις μαζικής κλίμακας οικονομικά εφικτές
Ποιοι κινδυνεύουν
- Καταchus και κινηματογραφίας: Οι ανώνυμες αναρτήσεις μπορούν να συνδεθούν με πραγματικές ταυτότητες
- Επαγγελματίες: Δραστηριότητα Reddit συνδεδεμένη με προφίλ LinkedIn
- Ασθενείς υγείας: Συμπέρασμα ένταξης αποκαλύπτει εάν τα δεδομένα ήταν στην εκπαίδευση
- Οποιοσδήποτε με ιστορικές αναρτήσεις: Χρόνια δεδομένων μπορούν να αναγνωριστούν αναδρομικά
Πώς το anonym.legal αντιμετωπίζει αυτές τις απειλές
Το anonym.legal παρέχει αληθινή ανωνυμοποίηση που αφαιρεί τα σήματα που χρησιμοποιούν τα LLM:
- 285+ τύποι οντοτήτων: Ονόματα, τοποθεσίες, ημερομηνίες, χρονικοί δείκτες, αναγνωριστικά
- Διατάραξη προτύπου γραφής: Αντικαθιστά κείμενο που αποκαλύπτει δακτυλικά αποτυπώματα στυλ
- Αντιστρεπτή κρυπτογράφηση: AES-256-GCM για περιπτώσεις που απαιτούν εξουσιοδοτημένη πρόσβαση
- Πολλαπλοί χειριστές: Αντικατάσταση, ανακοίνωση, hash, κρυπτογράφηση, μάσκα, προσαρμοσμένη
Συχνές ερωτήσεις
Τι είναι η αναγνώριση ταυτότητας βάσης LLM;
Η αναγνώριση ταυτότητας βάσης LLM χρησιμοποιεί μεγάλα γλωσσικά μοντέλα για τον εντοπισμό πραγματικών ατόμων από ανώνυμες ή ψευδώνυμες διαδικτυακές αναρτήσεις. Σε αντίθεση με τις παραδοσιακές μεθόδους που αποτυγχάνουν στη συσσώρευση, τα LLM μπορούν να συνδυάσουν την ανάλυση στυλ γραφής (στυλομετρία), δηλωμένα γεγονότα, χρονικές προσχέσεις και συλλογισμό ευαίσθητο στο περιεχόμενο για να ταιριάσουν ανώνυμα προφίλ με πραγματικές ταυτότητες. Η έρευνα δείχνει ακρίβεια έως και 68% σε 90% ακρίβεια, σε σύγκριση με σχεδόν 0% για τις κλασικές μεθόδους.
Πόσο ακριβής είναι η αναγνώριση ταυτότητας LLM;
Η έρευνα καταδεικνύει ανησυχητικά επίπεδα ακρίβειας: ανάκληση 68% στο 90% ακρίβεια για αντιστοίχιση Hacker News με LinkedIn, 67% για ανάλυση χρονικής σειράς Reddit (ίδιος χρήστης κατά την πάροδο του χρόνου), 35% σε διαδικτυακή κλίμακα (1M+ υποψήφιοι). Για συμπέρασμα χαρακτηριστικών, το GPT-4 επιτυγχάνει ακρίβεια top-1 85% συμπεραίνοντας προσωπικά χαρακτηριστικά όπως τοποθεσία, εισόδημα, ηλικία και επάγγελμα από μόνο αναρτήσεις Reddit.
Τι είναι το πλαίσιο ESRC;
Το ESRC (Extract-Search-Reason-Calibrate) είναι ένα πλαίσιο αναγνώρισης ταυτότητας LLM τεσσάρων σταδίων: (1) Εξαγωγή - Το LLM εξάγει γεγονότα ταυτοποίησης από ανώνυμες αναρτήσεις χρησιμοποιώντας NLP, (2) Αναζήτηση - αναζητά δημοσίες βάσεις δεδομένων όπως το LinkedIn χρησιμοποιώντας εξαγμένα γεγονότα και σημασιολογικές ενσωματώσεις, (3) Συλλογισμός - Το LLM συλλογίζεται για υποψηφίες αντιστοιχίες αναλύοντας συνέπεια, (4) Βαθμονόμηση - βαθμολόγηση εμπιστοσύνης για ελαχιστοποίηση ψευδών θετικών μέγιστου πραγματικών αντιστοιχιών.
Πόσο κοστίζει η αναγνώριση ταυτότητας βάσης LLM;
Η έρευνα δείχνει ότι η αναγνώριση ταυτότητας βάσης LLM κοστίζει $1-$4 ανά προφίλ, καθιστώντας τη μαζική αναγνώριση ταυτότητας οικονομικά εφικτή. Για άμυνα ανωνυμοποίησης, τα κόστη είναι κάτω από $0,035 ανά σχόλιο χρησιμοποιώντας GPT-4. Αυτό το χαμηλό κόστος επιτρέπει στους κρατικούς δράστες, τις εταιρείες, τους stalkers και τους κακόβουλους ατόμους να διενεργούν επιθέσεις ιδιωτικότητας σε μεγάλη κλίμακα.
Τι είδη PII μπορούν να εξάγουν τα LLM από κείμενο;
Τα LLM αριστεύουν στην εξαγωγή: διευθύνσεις ηλεκτρονικής αλληλογραφίας (ακρίβεια 100% με GPT-4), αριθμοί τηλεφώνων (98%), ταχυδρομικές διευθύνσεις και ονόματα. Μπορούν επίσης να συμπεράνουν μη ρητή PII: τοποθεσία, επίπεδο εισοδήματος, ηλικία, φύλο, επάγγελμα, εκπαίδευση, κατάσταση σχέσης και τόπο γέννησης από λεπτές σημασιολογικές ενδείξεις και προσχέσεις γραφής.
Τι είναι μια επίθεση συμπεράσματος ένταξης (MIA);
Οι επιθέσεις συμπεράσματος ένταξης καθορίζουν εάν συγκεκριμένα δεδομένα χρησιμοποιήθηκαν για την εκπαίδευση ενός μοντέλου AI. Για τα LLM, αυτό αποκαλύπτει εάν τα προσωπικά σας δεδομένα ήταν στο σύνολο δεδομένων εκπαίδευσης. Η έρευνα δείχνει ότι οι διευθύνσεις ηλεκτρονικής αλληλογραφίας και οι αριθμοί τηλεφώνων είναι ιδιαίτερα ευάλωτοι. Νέα διανύσματα επίθεσης περιλαμβάνουν συμπέρασμα βάσης tokenizer και ανάλυση σημάτων προσοχής (AttenMIA).
Πώς οι επιθέσεις εγχύσεως προτροπής διαρρέουν προσωπικά δεδομένα;
Η εγχύσεις προτροπής χειραγωγεί πράκτορες LLM για διαρροή προσωπικών δεδομένων που παρατηρήθησαν κατά την εκτέλεση εργασιών. Στα σενάρια τραπεζικών πρακτόρων, οι επιθέσεις επιτυγχάνουν ποσοστό επιτυχίας περίπου 20% στην εξαγωγή προσωπικών δεδομένων, με υποβάθμιση χρησιμότητας 15-50% υπό επίθεση. Ενώ η ευθυγράμμιση ασφάλειας αποτρέπει διαρροή κωδικού πρόσβασης, άλλα προσωπικά δεδομένα παραμένουν ευάλωτα.
Πώς μπορεί το anonym.legal να βοηθήσει στην προστασία έναντι επιθέσεων ιδιωτικότητας LLM;
Το anonym.legal παρέχει αληθινή ανωνυμοποίηση μέσω: (1) Ανίχνευση PII - 285+ τύποι οντοτήτων συμπεριλαμβανομένων ονομάτων, τοποθεσιών, ημερομηνιών, προσχέσεων γραφής, (2) Αντικατάσταση - αντικαθιστά πραγματικό PII με εναλλακτικές έγκυρες για μορφή, (3) Ανακοίνωση - αφαιρεί εντελώς ευαίσθητες πληροφορίες, (4) Αντιστρεπτή κρυπτογράφηση - AES-256-GCM για εξουσιοδοτημένη πρόσβαση. Σε αντίθεση με την ψευδωνυμία που τα LLM ξεπερνούν, η αληθινή ανωνυμοποίηση αφαιρεί τα σήματα που τα LLM χρησιμοποιούν για αναγνώριση ταυτότητας.
Προστασία έναντι επιθέσεων ιδιωτικότητας LLM
Μην βασίζεστε στην ψευδωνυμία. Χρησιμοποιήστε αληθινή ανωνυμοποίηση για προστασία ευαίσθητων εγγράφων, δεδομένων χρήστη και επικοινωνιών από επιθέσεις αναγνώρισης τροφοδοσίας AI.