Пропуската, която изтриването на колони не запълва
Актуализирано за 2026 г.
Наборите от изследователски данни се прехвърлят между университети като CSV файлове. Когато екипите подготвят CSV за споделяне, работата е базирана на колони. Намерете личната информация. Изтрийте или заменете я.
Този метод работи за фиксирани полета. Колона с名称 "email" съдържа имейл адреси -- изтрийте я. Колона с名称 "phone" съдържа телефонни номера -- изтрийте я. Колона с名称 "participant_name" съдържа имена -- заменете ги с код.
Но колоните с отговори на свободен текст са сляпо петно. Премахването на маркираните колони не ги докосва.
Проучване с 5 000 реда може да има пет структурирани PII колони и петнадесет колони с отворени текстови отговори. Структурираните съдържат имена, имейли, телефонни номера, ID и години на раждане. Отворените текстови съдържат коментари, бележки и предложения.
Структурираните колони се почистват. Отворените текстови остават сурови. Но хората пишат неща като тези три примера.
Първи: "Моят лекар в Boston Medical Center, д-р Maria Santos, каза, че лечението е ново." Втори: "Справям се с това от катастрофата ми от 2019 г." Трети: "Можете да се свържете с моя болногледач на margaret.wells@gmail.com за подробности."
Всеки запис назовава реален човек. Някои включват здравни факти или информация за контакт. Нищо от това не се появява в заглавката на колона. Нищо от това не се улавя от изтриването на колони.
Защо това не отговаря на стандарта на GDPR
Съображение 26 от GDPR определя анонимните записи като записи, които не могат да бъдат свързани с никое лице. Летвата е висока. Записите са наистина анонимни само когато повторната идентификация не е разумно възможна.
CSV с чисти фиксирани колони, но с назовани хора в открит текст не преминава този тест. Тези имена са идентифицируеми. Наборът от данни все още е личен. Правилата на член 89 от GDPR все още се прилагат. Така се появяват три риска.
Изключение по член 89 за изследвания: Член 89 позволява на изследователите да обработват лична информация за наука с по-малко задължения. Но само когато съществуват "подходящи гаранции". Споделянето на файл с PII в открит текст, като се претендира за покритие по член 89, е правен провал.
Одобрение от етичен комитет: Повечето IRB и етични комисии изискват пълна анонимизация за споделени набори от данни. Частичната работа -- фиксираните колони почистени, открития текст оставен суров -- обикновено не преминава. Комисията може да отхвърли заявлението.
Споразумения за споделяне на данни: DSA между институциите задават изисквания за ниво на анонимизация. Частична работа, която не отговаря на Съображение 26 от GDPR, може да наруши DSA. Вижте нашия преглед на правното съответствие за начина, по който това се вписва в по-широка програма.
Защо открития текст е толкова труден за почистване
Отговорите на проучвания на свободен текст са сред най-трудните PII цели. Ето защо.
Имена в контекст: "Д-р Maria Santos в Boston Medical Center" изисква разпознаване на наименувани обекти (NER) за маркиране на лице и организация. Списъците с ключови думи не могат да намерят това.
Имена в истории: "Колата на John Henderson удари моята" поставя реално ime вътре в история. Това е лице, споменато мимоходом. Само NER го улавя.
Нестандартни формати: Информацията за контакт може да се чете като "пишете ми на margaret точка wells в gmail". Простите инструменти с регулярни изрази пропускат тези.
Изследователски термини: Клиничните проучвания често съдържат ID на болници, кодове на сайтове и имена на места. Те могат да идентифицират лице дори когато изглеждат общи.
Следователно само съвпадението на образци не е достатъчно. За истинска анонимизация на проучвания са необходими инструменти, базирани на NLP. Вижте Сигурност и съответствие за технически варианти.
Реален пример от три университета
Изследователски екип от три европейски университета проведе проучване на опита на пациентите. Наборът от данни имаше 5 000 участника, 3 фиксирани PII колони и 8 колони с открит текст. Планът беше да се сподели файлът между сайтове съгласно DSA и член 89 от GDPR.
Само с изтриване на колони:
- Фиксирани PII колони: премахнати
- Колони с открит текст: оставени сурови
- Твърдение: "PII колони изтрити"
- Оставен PII: 47 назовани лица, 23 имейл адреса в коментари, 18 имена на места, могат да идентифицират участниците
С NLP-базирано засичане:
- Фиксирани PII колони: заменени с последователни токени
- Колони с открит текст: 47 имена заменени, 23 имейла маскирани, 18 имена на места направени общи ("Boston Medical Center" --> "[Здравна институция]")
- Резултат: файл, преминаващ Съображение 26 от GDPR
- Etičen комитет одобри метода
- ДЗД потвърди съответствието с DSA
Пропуската е реална. Първият резултат изглежда чист. Вторият резултат е чист.
Протокол от пет стъпки преди споделяне
Използвайте тези стъпки преди споделяне на всеки файл с проучване или интервю.
Стъпка 1: Маркирайте всяка колона Отбележете всяка колона като фиксирана PII, фиксирана не-PII или открит текст. Запишете го.
Стъпка 2: Обработете фиксираната PII Изтрийте записи, ненужни за анализа. Заменете записи, необходими за свързване. Запишете използваните кодове.
Стъпка 3: Сканирайте колоните с открит текст Приложете NLP засичане към всички колони с открит текст. Прегледайте всеки резултат. Потвърдете кои са реална PII.
Стъпка 4: Приложете замени
Заменете потвърдената PII в резултата с открит текст. Използвайте ясни етикети като [PERSON], [EMAIL] или [LOCATION].
Стъпка 5: Проверете и документирайте Вземете 50-100 реда от резултата. Проверете записите с открит текст ръчно. Напишете кратко резюме: използвани инструменти, намерени типове обекти, обработени колони. Споделете го с файла за преглед от etičen комитет.
Това превръща "изтрихме колоната с имена" в ясен, документиран процес. Отговаря на член 89 от GDPR и стандартите за анонимизация, изисквани от повечето etičen комитети. Посетете нашия хъб за документация за свързани ръководства.