Прихована проблема застарілих архівів
Організації, що проводять аудити відповідності GDPR, регулярно стикаються з однією і тією самою категорією прихованих ризиків: PDF-архівами на основі зображень, що з'явилися до впровадження програм цифровізації.
Юридичні фірми з 20 роками відсканованих клієнтських справ. Медичні заклади з десятиліттями відсканованих форм первинного прийому пацієнтів. Державні органи з відсканованими історичними записами. Банки з відзображеними кредитними заявками та документами по рахунках.
Ці архіви мають одну спільну рису: документи зберігаються у вигляді відсканованих зображень (растровий PDF, TIFF або JPEG), а не у форматі текстових цифрових документів. У них немає текстового шару для пошуку, немає машиночитаного вмісту для аналізу стандартними інструментами виявлення PII. Для звичайного інструмента анонімізації такі документи є невидимими.
Поширена хибна думка: «Це просто файли зображень — GDPR до них насправді не застосовується».
Текст GDPR є однозначним. Стаття 17(1) надає суб'єктам даних право на видалення персональних даних. Рецитал 26 підтверджує, що анонімізація персональних даних є стандартом для даних, що більше не стосуються ідентифікованої фізичної особи. Жодне з цих положень не містить виключення для форматів зображень, що походять з паперу.
Юридична фірма, яка не може відповісти на запит про видалення від клієнта, якому надавала послуги 15 років тому, — оскільки 15-річні клієнтські записи існують лише як відскановані PDF — має прогалину у відповідності GDPR, а не виключення.
Як працює виявлення PII у документах на основі зображень
Технічний конвеєр виявлення PII у документах на основі зображень інтегрує два етапи:
Етап 1: Оптичне розпізнавання символів (OCR)
- Вхідні дані: відсканований PDF або файл зображення
- OCR-рушій вилучає текст із відсканованого зображення
- Результат: машиночитаний текст із координатами позицій
- Складність: рукописний текст, погана якість сканування, вицвілий чорнило та старі шрифти знижують точність OCR
Етап 2: Виявлення PII засобами NLP
- Вхідні дані: текст, вилучений за допомогою OCR
- Розпізнавання іменованих сутностей (NER) ідентифікує імена людей, організації, локації
- Пошук за шаблонами виявляє ІПН, номери телефонів, адреси електронної пошти, номери рахунків
- Результат: виявлені PII-сутності з балами достовірності та посиланнями на позиції
Етап 3: Анонімізація
- Виявлені сутності анонімізуються у вилученому текстовому виводі
- Для PDF-зображень: результатом є анонімізований текстовий документ (оригінальне зображення не змінюється — модифікація зображення потребує інструментів редагування PDF)
- Анонімізований текст дозволяє відповідати на DSAR, виконувати запити на видалення та готувати документацію з відповідності
Якість OCR є головним технічним обмеженням. Для якісно надрукованих документів сучасні OCR-рушії досягають точності 98–99% на рівні символів. Для рукописного тексту або деградованих сканів точність може становити 85–92%. Для цілей виявлення PII точність на рівні сутностей (правильна ідентифікація того, що ім'я присутнє в документі, навіть якщо окремі символи мають незначні помилки) зазвичай вища, ніж точність на рівні символів.
Практична обробка великих архівів
Для організацій із великими застарілими архівами операційний робочий процес виглядає так:
Фаза інвентаризації:
- Каталогізуйте всі архіви PDF-зображень за вихідною системою та діапазоном дат
- Оцініть обсяг і розставте пріоритети за ризиком права на видалення (спочатку записи, пов'язані з клієнтами)
Пакетна обробка:
- Обробляйте архіви пакетами (зазвичай 5 000–10 000 файлів)
- OCR + виявлення PII виконується асинхронно
- Результат: звіти про виявлення PII та анонімізовані текстові витяги для кожного файлу
Виконання запитів на видалення:
- Суб'єкт даних подає запит на видалення з іменем та відповідним періодом
- Пошук у анонімізованих текстових витягах за псевдонімними токенами, пов'язаними з суб'єктом даних
- Визначення конкретних документів, що містять записи суб'єкта даних
- Обробка цих конкретних документів для редагування (модифікація оригінального PDF-зображення)
- Документування дії щодо видалення
Поточна відповідність:
- Нові відскановані документи обробляються через той самий конвеєр до архівування
- Звіти про виявлення PII зберігаються як свідчення для Реєстру діяльності з обробки відповідно до Статті 30 GDPR
Приклад: 20-річний архів юридичної фірми
Юридична фірма, що проводила аудит GDPR, виявила 80 000 PDF-контрактів клієнтів на основі зображень, відсканованих між 1998 і 2010 роками. Стандартні інструменти виявлення PII повернули нуль виявлень — формат на основі зображень був невидимим.
Проблема відповідності була конкретною: 15 колишніх клієнтів подали запити на видалення протягом попередніх 12 місяців. Відповідь фірми: «Ми не можемо підтвердити, що ваші дані були видалені, оскільки наші історичні записи зберігаються у форматі зображень, який ми не можемо обробити». Це не відповідна відповідь відповідно до Статті 17 GDPR.
Підхід до обробки:
- OCR + виявлення PII для всіх 80 000 документів пакетами по 5 000
- Час обробки: приблизно 3 тижні пакетної обробки
- Результат: 80 000 анонімізованих текстових витягів зі звітами про виявлення PII для кожного файлу
- Індекс для пошуку виявлених сутностей, пов'язаних з ідентифікаторами документів
Виконання запитів на видалення після обробки:
- Середній час пошуку документів для конкретного суб'єкта даних: 4 хвилини (пошук в анонімізованих текстових витягах)
- Кількість документів на один запит на видалення: в середньому 6–8 документів
- Редагування знайдених документів: 20–30 хвилин на один запит
Раніше нездійсненне зобов'язання з відповідності виконано. 15 невирішених запитів на видалення були закриті протягом 30 днів після завершення обробки архіву.
Обмеження OCR та управління якістю
Чесна оцінка виявлення PII на основі OCR для застарілих документів вимагає визнання обмежень:
Точність для рукописного тексту: Рукописні документи (особисті заяви, заявки, заповнені від руки) мають нижчу точність OCR, ніж друковані документи. Для виявлення PII у рукописному вмісті необхідно відкоригувати порогове значення достовірності.
Деградована якість сканування: Документи, відскановані при низькій роздільній здатності або при поганому освітленні, мають знижену точність OCR. Попередня обробка (підвищення контрастності, вирівнювання) може покращити результати.
Незвичні шрифти та формати: Доцифрові гарнітури, формати юридичних документів із незвичайними макетами та багатоколонні документи можуть мати нижчу точність OCR.
Налаштування порогового значення якості: Для документації з відповідності доречно класифікувати документи за достовірністю OCR: висока достовірність (>95% точності сторінки) — підходить для автоматизованої обробки; середня достовірність (80–95%) — підходить для автоматизованої обробки з перевіркою людиною позначених сутностей; низька достовірність (<80%) — потребує ручного перегляду.
Для організацій з великими архівами деградованих історичних документів гібридний підхід — автоматизована обробка для документів з високою достовірністю, черга ручного перегляду для документів з низькою достовірністю — забезпечує практичну пропускну здатність при збереженні якості відповідності.
Джерела: