Проблем с 22,7% точност на Presidio...

Проблем с 22,7% точност на # Presidio: Защо фалшивите положителни резултати унищожават вашите резултати от анонимизиране

Фалшивите положителни резултати при откриването на PII не са незначителен проблем. Когато 77,3% от това, което вашият инструмент маркира като „имена на лица“, не са имена на лица, вие не защитавате поверителността – вие унищожавате данни.

Сравнително проучване от 2024 г. на Microsoft Presidio модел по подразбиране NER (Named Entity Recognition) оценява прецизността в контекста на бизнес документи: финансови отчети, клиентска кореспонденция, продуктова документация и билети за поддръжка. Резултатът: 22,7% точност за разпознаване на име на човек.

Това означава за всеки 100 откривания, маркирани като имена на хора:

• 23 са действителни имена на лица (правилно открити)
• 77 са фалшиви положителни резултати (имена на продукти, имена на компании, имена на места, споменавания на марки)

Защо това се случва

Разпознавателят на име на човек по подразбиране на Presidio използва модела en_core_web_lg на spaCy за NER. Този модел е обучен основно върху новинарски текст - където повечето собствени съществителни всъщност са хора, организации или места, които се обсъждат в новинарски статии.

Бизнес документите са различни:

Имена на продукти, които приличат на имена на хора:

• „Записи за доставка на Apple iPhone 15 Pro...“ → маркирано като PERSON
• "Samsung Galaxy Tab" → маркиран като PERSON
• „Внедряване на Cisco Meraki“ → маркирано като PERSON

Имена на фирми със структура на имена на лица:

• „Тримесечни резултати на Johnson Controls“ → „Johnson“ маркирано като PERSON
• „Портфолио на Goldman Sachs“ → „Goldman“ маркирано като PERSON
• „Инвестиционна теза на BlackRock“ → маркирана като PERSON

Имена на места, които предизвикват NER на човек:

• „Развитие на пристанище Виктория“ → „Виктория“, маркирано като PERSON
• „Разпределителен център Сантяго“ → „Сантяго“, маркиран като PERSON

В бизнес документ със 100 собствени имена с главни букви на модела по подразбиране на spaCy липсва контекстуалното разбиране, за да разграничи надеждно „Apple“ (компания) от „Apple Smith“ (лице).

Ефектът надолу по веригата

Фирма за анализ на данни, обработваща анкети за обратна връзка с клиенти, внедри Presidio за анонимизиране, преди да сподели резултатите с екипите за анализ на клиенти. Одит след внедряване:

• В 40% от отговорите на анкетата имената на продуктите са неправилно редактирани
• Имената на градовете, споменати в отговорите, бяха систематично премахнати
• Препратките към марките — част от контекста на анализа — бяха анонимизирани
• Настроенията на клиентите относно конкретни продукти станаха неподлежащи на анализ

Екипът за анализ получаваше данни, при които „Обичам [REDACTED] Pro, но зарядното [REDACTED] се счупи“ заменя „Обичам iPhone Pro, но зарядното на Apple се счупи“. Анонимизирането унищожи аналитичната стойност, която проучването беше събрано, за да предостави.

Фирмата не защитаваше прекалено поверителността — те унищожаваха полезността, без да постигнат съответствие. След констатацията на одита Presidio беше заменен.

Хибридният подход за откриване

Проблемът с прецизността не е уникален за базовия модел на Presidio — това е присъщо ограничение на NER на ниво токен без контекст. Корекцията изисква контекстно откриване.

Модели, базирани на трансформатор (XLM-RoBERTa): Големите езикови модели, обучени върху разнообразен текст, разбират контекстуалните връзки. „Apple обяви печалбите си“ → Apple е компания (контекстуална следа: „обявени печалби“). „Apple Smith се присъедини към екипа“ → Apple е име на човек (контекстуална следа: „присъедини се към екипа“).

Откриването, съобразено с контекста, драстично подобрява прецизността, като същевременно поддържа припомнянето:

Хибридният подход не постига перфектна прецизност — това би изисквало човешки преглед. Но 85% точност означава 15% фалшиво положителен процент, а не 77,3%. За обработка на бизнес документи това е разликата между използваем изход и повредени данни.

Как работи хибридният стек:

1. Слой Regex: Високопрецизно откриване за структурирани идентификатори (SSN, имейл адреси, телефонни номера, IBAN). Тези формати са машинно четими, така че фалшивите положителни резултати са редки. Стартира първо, елиминира структурирана PII с почти 100% точност.

2. NLP слой (spaCy): Стандартен NER за имена на лица, организации, местоположения. Осигурява първоначалния набор за откриване. Високо припомняне, по-ниска точност.

3. Трансформаторен слой (XLM-RoBERTa): Контекстуално преоценяване на NLP откривания. Обектите, които са били маркирани от NLP, се преоценяват с пълен контекст на изречението. „Apple“ в контекста на продукта губи резултата за индивидуален субект. „Джон“ като име на субект на клиентска жалба печели резултат за личностно образувание.

4. **Праг на достоверност: ** Само откривания над калибриран праг на достоверност преминават към анонимизиране. Прагът е регулируем — по-висок праг за критични за прецизността случаи на употреба (бизнес анализи), по-нисък праг за критични за съответствие случаи на употреба (деидентификация HIPAA).

Практическо въздействие: Възстановяване на анализ на проучване

След преминаване към хибридно откриване:

• Името на продукта фалшиви положителни резултати: намалено от 40% на 3%
• Фалшиви положителни резултати за име на град: намалени от 100% от споменаванията на градове до почти 0%
• Откриване на действително име на човек: поддържа се при ~ 82% запомняне (леко намаление от 85% в замяна на печалби от прецизността)

Анкетите вече могат да се използват. „iPhone“, „Apple“, „Samsung“ и „Chicago“ са запазени. Имената на клиентите в специфични за оплакванията контексти са правилно анонимизирани.

Компромисът: хибридното откриване е по-интензивно от изчислителна гледна точка. За широкомащабна обработка това означава малко по-дълго време за обработка. За повечето случаи на бизнес употреба подобрението на прецизността си заслужава цената.

Кога да приемете по-високи фалшиви положителни стойности

Някои контексти на съответствие предпочитат припомнянето пред прецизността:

HIPAA Деидентификация на Safe Harbor: Липсата на истински положителен резултат (неуспешно премахване на име на човек) е нарушение на HIPAA. 10% фалшиво положителен процент е приемлив, ако гарантира почти 100% припомняне на действителната PHI. Прекаленото анонимизиране е за предпочитане пред недостатъчното анонимизиране.

Преглед на правни документи с големи залози: Липсата на привилегировано име на адвокат-клиент може да доведе до отказ от привилегия. Фалшивите положителни резултати изискват преглед от адвокат, но не пораждат правна отговорност.

Общи бизнес анализи: Прекаленото анонимизиране поврежда данните, без да се постига полза от съответствието. Прецизността е по-важна. Използвайте хибридно откриване с консервативни прагове.

Подходящият компромис за прецизно извикване зависи от случая на употреба. Инструментите, които позволяват конфигуриране на прагове, осигуряват гъвкавост за оптимизиране за правилния резултат за всеки контекст.

Заключение

Процентът на точност от 22,7% означава, че 3 от всеки 4 неща, които вашият PII инструмент нарича „име на човек“, не е име на човек. За бизнес документи това ниво на прецизност прави изхода за анонимизиране неизползваем за аналитични цели, като същевременно предоставя фалшива увереност за съответствие.

Хибридно откриване, комбиниращо регулярен израз, NLP и базирано на трансформатор контекстно оценяване, подобрява прецизността до точката, в която анонимизираните данни остават аналитично полезни. За организации, които са изоставили Presidio поради фалшиви положителни проблеми, тази архитектура е решението — не различна конфигурация на същия модел.

Източници:

• [Priva PII Benchmark 2024: Presidio Прецизна оценка] (https://priva.ai/blog/presidio-benchmark)
• Microsoft Presidio: Поддържани обекти и моделна архитектура
• spaCy: en_core_web_lg Данни за обучение и ограничения