Ne Visi De-Identificēšanas Rīki Nav Vienādi
Novērtējot PHI de-identificēšanas rīkus, precizitāte ir viss. 4% starpība atklāšanas ātrumā var izklausīties maza — līdz jūs apzināties, ka 4% no miljona ierakstu datu kopas ir 40 000 atklātu ierakstu.
Nesenajie salīdzinājumi no ECIR 2025 atklāj dramatiski atšķirības PHI atklāšanas precizitātes vadošos rīkos.
ECIR 2025 Salīdzinājumu Rezultāti
| Rīks | F1-Punkts | Precizitāte | Atgādinājums |
|---|---|---|---|
| John Snow Labs | 96% | 95% | 97% |
| Azure AI | 91% | 90% | 92% |
| AWS Comprehend Medical | 83% | 81% | 85% |
| GPT-4o | 79% | 82% | 76% |
F1-punkts apvieno precizitāti (cik daudz atklātie elementu bija pareizi) un atgādinājumu (cik daudz faktiskos elementu tika atklāti). Abas jautā:
- Zema precizitāte = viltus pozitīvi (pārpratums redakcija)
- Zems atgādinājums = viltus negatīvi (nokavēts PII = pārkāpums)
Kāpēc Atšķirībā Pastāv
Apmācības Datu Atšķirības
| Rīks | Apmācības Fokuss |
|---|---|
| John Snow Labs | Veselības aprūpes-specifisks, klīniskas notas |
| Azure AI | Vispārējā medicīna + klīniskas |
| AWS Comprehend | Vispārējā medicīnas elementi |
| GPT-4o | Plašā apmācība, nevis veselības aprūpes-specifisks |
John Snow Labs modeļi ir apmācīti speciāli klīniskajā dokumentālijā — grūtā, saīsinātā, konteksta atkarībā teksta, kāda veselības aprūpe faktiski rada.
Elementu Veida Pārklājums
Ne visi rīki atklāj tādus pašus elementus:
| Elements | John Snow | Azure | AWS | GPT-4o | |--------|-----------|-------|-----|------...