Il Problema di Precisione del 22,7% di Presidio
I falsi positivi nel rilevamento dei dati personali causano danni reali. Quando il 77,3% di ciò che il tuo strumento segnala come "nomi di persone" non sono nomi reali, non stai proteggendo la privacy. Stai distruggendo i dati.
Un benchmark del 2024 ha testato il modello NER predefinito di Microsoft Presidio su documenti aziendali. Il test ha coperto rapporti finanziari, lettere ai clienti, documentazione di prodotto e ticket di supporto. Il risultato: 22,7% di precisione per il rilevamento dei nomi.
Questo numero è sorprendente. Su 100 elementi segnalati, 23 sono nomi individuali reali. Gli altri 77 sono falsi positivi — etichette di prodotto, termini di brand o denominazioni geografiche.
Tre rilevamenti su quattro sono errati. Non si tratta di un problema minore di calibrazione. È uno strumento inadatto per i documenti aziendali.
Perché Succede
Presidio utilizza il modello en_core_web_lg di spaCy per impostazione predefinita. Questo modello è stato addestrato su testi di notizie. Nelle notizie, la maggior parte dei nomi propri sono persone reali o luoghi.
I documenti aziendali sono diversi.
Etichette di prodotto che assomigliano a nomi di persone. "Spedizione Apple iPhone 15 Pro" viene segnalato come PERSON. Lo stesso accade con "Samsung Galaxy Tab" e "distribuzione Cisco Meraki".
Termini aziendali con componenti simili a nomi. In "risultati Johnson Controls", la parola "Johnson" viene segnalata come PERSON. "Portafoglio Goldman Sachs" innesca lo stesso errore.
Denominazioni geografiche che attivano il rilevamento di persone. "Progetto Victoria Harbour" segnala "Victoria" come PERSON. "Hub Santiago" segnala "Santiago" allo stesso modo.
Il modello non riesce a distinguere "Apple" (azienda) da "Apple Smith" (una persona). Questa lacuna è alla radice della maggior parte dei falsi positivi. Il testo di notizie gli ha insegnato a trattare i nomi propri come persone o luoghi. I documenti aziendali violano costantemente questa regola.
L'Effetto a Valle
Una società di analisi dati ha usato Presidio per ripulire i sondaggi clienti prima di condividerli. Un audit ha rilevato quattro problemi. Primo, il 40% dei sondaggi aveva etichette di prodotto rimosse erroneamente. Secondo, le denominazioni geografiche erano state eliminate da ogni risposta. Terzo, le menzioni di brand erano state cancellate dal dataset di analisi. Quarto, il sentiment su prodotti specifici non era più leggibile.
Il team di analisi ha ricevuto testo redatto con tutti i riferimenti ai prodotti rimossi. Il sondaggio nominava originariamente iPhone Pro e il caricabatterie Apple. Quel significato era andato perduto.
La società non proteggeva meglio la privacy. Stava distruggendo i dati senza guadagnare conformità. Presidio è stato sostituito dopo l'audit.
Si veda la nostra panoramica sulla conformità per capire come la qualità del rilevamento influisce sulla posizione normativa.
Un Approccio Migliore: Rilevamento Ibrido
Il problema non è esclusivo di Presidio. Il NER a livello di token senza contesto avrà sempre questo problema. La soluzione è il rilevamento consapevole del contesto.
Perché i transformer aiutano: Un modello come XLM-RoBERTa legge l'intera frase. "Apple ha annunciato i suoi utili" → Apple è un'azienda. "Apple Smith è entrato nel team" → Apple è un nome proprio. Il contesto dice quale delle due è.
Questo migliora la precisione mantenendo alto il recall. Si veda il confronto di seguito.
| Approccio | Precisione | Recall |
|---|---|---|
| NER predefinito Presidio | 22,7% | ~85% |
| Solo regex | ~95% | ~40% |
| Ibrido (Regex + NLP + Transformer) | ~85% | ~80% |
L'approccio ibrido raggiunge l'85% di precisione. Significa un tasso di falsi positivi del 15%. Molto meglio del 77,3%. Per i documenti aziendali, questa differenza è significativa.
Lo stack ibrido si compone di quattro passaggi:
-
Livello regex: Trova gli ID strutturati — email, numeri di telefono, SSN, IBAN. I formati sono fissi, quindi i falsi positivi sono rari. Viene eseguito per primo.
-
Livello NLP (spaCy): NER standard per persone, aziende e luoghi. Alto recall, precisione inferiore.
-
Livello transformer (XLM-RoBERTa): Rivaluta ogni risultato NLP usando il contesto dell'intera frase. "Apple" in un contesto di prodotto perde il suo punteggio di entità. "John" in un testo di reclamo lo guadagna.
-
Soglia di confidenza: Solo i risultati sopra un determinato punteggio vengono passati all'output. Alzare la soglia per casi d'uso analitici. Abbassarla per la de-identificazione HIPAA.
Risultati Dopo il Passaggio
La società di analisi è passata al rilevamento ibrido. I miglioramenti sono stati evidenti. I falsi positivi sulle etichette di prodotto sono scesi dal 40% al 3%. I falsi positivi sulle denominazioni geografiche sono calati quasi a zero. Il recall delle identità reali si è mantenuto a circa l'82%, leggermente inferiore all'85%, ma la precisione è migliorata notevolmente.
I sondaggi sono tornati utilizzabili. "iPhone", "Apple", "Samsung" e "Chicago" sono rimasti nel testo. I nomi dei clienti nei contesti di reclamo sono stati rimossi correttamente.
Il rilevamento ibrido richiede più risorse computazionali. Per i lavori di grandi dimensioni, i tempi di esecuzione sono un po' più lunghi. Per la maggior parte dei casi d'uso aziendali, il guadagno in accuratezza vale lo sforzo. La società poteva eseguire nuovamente le analisi. Era questo il punto dei dati del sondaggio.
Si legga il nostro approccio al rilevamento nella panoramica sulla sicurezza.
Quando Sono Accettabili Tassi Elevati di Falsi Positivi
Alcuni casi privilegiano il recall rispetto alla precisione.
HIPAA Safe Harbor: Perdere un vero positivo è una violazione. Un tasso di falsi positivi del 10% va bene se i dati sanitari reali non vengono mai persi. La sovra-rimozione è più sicura della sotto-rimozione.
Revisione legale: Perdere un contatto privilegiato potrebbe rinunciare al privilegio. I falsi positivi richiedono revisione ma non creano responsabilità.
Analisi aziendale: La sovra-rimozione distrugge i dati senza un guadagno di conformità. Qui la precisione conta di più. Usare un approccio ibrido con una soglia di confidenza alta. Questo mantiene le etichette di brand e i termini geografici nell'output. Solo i nomi di persone reali vengono rimossi.
Il giusto equilibrio dipende dal caso d'uso. Gli strumenti che permettono di impostare la soglia danno controllo. Nessun valore predefinito funziona per ogni contesto.
Si veda la nostra FAQ per domande comuni su soglie e modalità di rilevamento.
Conclusione
Un tasso di precisione del 22,7% significa che 3 rilevamenti su 4 sono errati. Per i documenti aziendali, questo rende l'output inutilizzabile per l'analisi. Dà anche una falsa sicurezza sulla conformità.
Il rilevamento ibrido risolve il problema. Combina regex, NLP e scoring con transformer. I dati rimangono utili dopo l'anonimizzazione. I nomi di persone reali vengono rimossi. Le etichette di brand, i termini geografici e gli identificatori di prodotto rimangono.
Se hai abbandonato Presidio per problemi di falsi positivi, questa è la strada da seguire. Non una nuova configurazione dello stesso modello. Un'architettura diversa costruita per i contesti dei documenti aziendali.
Fonti
Priva PII Benchmark 2024: Valutazione della Precisione di Presidio. VERIFICATO-ESTERNO.
Microsoft Presidio: Entità Supportate e Architettura del Modello. VERIFICATO-ESTERNO.
spaCy: Dati di Addestramento e Limitazioni di en_core_web_lg. VERIFICATO-ESTERNO.