El buit que omet l'eliminacio de columnes
Actualitzat per al 2026
Els conjunts de dades d'investigacio circulen entre universitats com a fitxers CSV. Quan els equips preparen un CSV per compartir-lo, el treball es basa en columnes. Trobeu la informacio personal. Elimineu-la o substituiu-la.
Aquest mètode funciona per als camps fixes. Una columna anomenada "correu" conte adreces de correu electronic: elimineu-la. Una columna anomenada "telefon" conte numeros de telefon: elimineu-la. Una columna anomenada "nom_participant" conte noms: substituiu-la per un codi.
Pero les columnes de respostes de text lliure son un punt cec. Eliminar columnes etiquetades no les toca.
Una enquesta amb 5.000 files pot tenir cinc columnes estructurades de dades personals i quinze columnes de resposta de text obert. Les estructurades contenen noms, correus electronics, numeros de telefon, IDs i anys de naixement. Les de text obert contenen comentaris, notes i suggeriments.
Les columnes estructurades es netegen. Les de text obert es queden en brut. Pero la gent escriu coses com aquests tres exemples.
Primer: "El meu metge a Boston Medical Center, la Dra. Maria Santos, va dir que el tractament era nou." Segon: "Fa temps que m'ocupo d'aixo des del meu accident de 2019." Tercer: "Podeu contactar amb la meva cuidadora a margaret.wells@gmail.com per obtenir mes detalls."
Cada entrada menciona una persona real. Algunes inclouen fets de salut o informacio de contacte. Cap d'aixo apareix en una capalera de columna. Cap d'aixo es detecta amb l'eliminacio de columnes.
Per que aixo no supera l'estandard del RGPD
El Recital 26 del RGPD defineix els registres anonoims com a registres que no es poden vincular a cap persona. El llindar es alt. Els registres nomes son veritablement anonoims quan la reidentificacio no es raonablement possible.
Un CSV amb columnes fixes netes pero amb persones nomenades en text obert no supera aquesta prova. Aquests noms son identificables. El conjunt de dades continua sent personal. Les regles de l'Article 89 del RGPD segueixen sent aplicables. Per tant, sorgeixen tres riscos.
Exempcio de recerca de l'Article 89: L'Article 89 permet als investigadors tractar informacio personal per a la ciència amb menys obligacions. Pero nomes quan existeixen "garanties adequades". Compartir un fitxer amb dades personals de text obert mentre es reclama la cobertura de l'Article 89 es un incompliment legal.
Aprovacio ètica: La majoria dels comitès d'ética i les juntes de revisio institucional (IRB) exigeixen una anonimitzacio completa per als conjunts de dades compartits. Un treball parcial --columnes fixes netejades, text obert en brut-- sol fallar. El comitè pot rebutjar la presentacio.
Acords de comparticio de dades: Els ACD entre institucions estableixen el nivell d'anonimitzacio requerit. Un treball parcial que no supera el Recital 26 del RGPD pot incomplir l'ACD. Vegeu la nostra descripcio general del compliment legal per a com s'integra aixo en un programa mes ampli.
Per que el text obert es tan dificil de netejar
Les respostes d'enquesta de text lliure son dels objectius de dades personals mes dificients. Aqui teniu el motiu.
Noms en context: "La Dra. Maria Santos a Boston Medical Center" requereix el reconeixement d'entitats nomenades (NER) per identificar una persona i una organitzacio. Les llistes de paraules clau no ho poden trobar.
Noms en narracions: "El cotxe de Joan Hernandez va xocar amb el meu" posa un nom real dins d'una historia. Es una persona esmentada de passada. Nomes el NER ho detecta.
Formats no estandard: La informacio de contacte pot llegir-se com "contacteu-me a margaret punt wells arroba gmail". Les eines simples d'expressions regulars ho ometen.
Termes especifics de la recerca: Les enquestes cliniques sovint contenen IDs hospitalaris, codis de lloc i noms de lloc. Aquests poden identificar una persona fins i tot quan semblen generics.
Per tant, la coincidència de patrons sola no es suficient. Es necessiten eines basades en PLN per a una anonimitzacio real d'enquestes. Vegeu Seguretat i Compliment per a opcions tècniques.
Un exemple real de tres universitats
Un equip d'investigacio de tres universitats europees va dur a terme una enquesta d'experiència de pacients. El conjunt de dades tenia 5.000 enquestats, 3 columnes fixes de dades personals i 8 columnes de text obert. El pla era compartir el fitxer entre els llocs en virtut d'un ACD i l'Article 89 del RGPD.
Amb nomes l'eliminacio de columnes:
- Columnes fixes de dades personals: eliminades
- Columnes de text obert: en brut
- Afirmacio: "columnes de dades personals eliminades"
- Dades personals restants: 47 persones nomenades, 23 adreces de correu electronic en comentaris, 18 noms de lloc que podrien identificar els enquestats
Amb la deteccio basada en PLN:
- Columnes fixes de dades personals: substituides per tokens consistents
- Columnes de text obert: 47 noms substituits, 23 correus enmascarats, 18 noms de lloc generalitzats ("Boston Medical Center" -> "[Institucio Sanitaria]")
- Resultat: un fitxer que supera el Recital 26 del RGPD
- El comitè d'ética va aprovar el mètode
- El DPO va confirmar el compliment de l'ACD
La bretlla es real. La primera sortida sembla neta. La segona sortida es neta.
Un protocol de cinc passos abans de compartir
Utilitzeu aquests passos abans de compartir qualsevol fitxer d'enquesta o entrevista.
Pas 1: Etiqueteu cada columna Marqueu cada columna com a dades personals fixes, no-dades personals fixes o text obert. Anoteu-ho.
Pas 2: Gestioneu les dades personals fixes Elimineu les entrades que no es necessitin per a l'analisi. Substituiu les entrades necessaries per vincular registres. Registreu els codis utilitzats.
Pas 3: Escanegeu les columnes de text obert Executeu la deteccio PLN en totes les columnes de text obert. Reviseu cada resultat. Confirmeu quins son dades personals reals.
Pas 4: Apliqueu les substitucions
Substituiu les dades personals confirmades a la sortida de text obert. Useu etiquetes clares com [PERSONA], [CORREU] o [LOCALITZACIO].
Pas 5: Verifiqueu i documenteu Mostrejeu de 50 a 100 files de la sortida. Comproveu les entrades de text obert a ma. Redacteu un resum breu: eines usades, tipus d'entitats trobades, columnes processades. Compartiu-lo amb el fitxer per a la revisio ètica.
Aixo transforma "hem eliminat la columna de noms" en un proces clar i documentat. Compleix l'Article 89 del RGPD i els estandards d'anonimitzacio que la majoria dels comitès d'ética exigeixen. Visiteu el nostre centre de documentacio per a guies relacionades.
Fonts
- Article 89 del RGPD: Garanties per a la recerca cientifica -- VERIFICAT-EXTERN
- Recital 26 del RGPD: Principi d'anonimitzacio -- VERIFICAT-EXTERN
- ICO: Anonimitzacio i risc de proteccio de dades -- VERIFICAT-EXTERN