Nie Alle De-Identifikasie-Hulpmiddels is Gelyk nie
Wanneer PHI de-identifikasie-hulpmiddels evalueer, is noukeurigheid alles. 'n 4%-verskil in opvoeringkoers kan klein lyk—totdat jy besef dat 4% van 'n miljoen-rekord datastel 40,000 blootgestelde rekords is.
Onlangse instelpunte van ECIR 2025 openbaar dramatiese verskille in PHI-opvoeringskiekheid oor leidende hulpmiddels.
Die ECIR 2025 Instelpunt-Resultate
| Hulpmiddel | F1-Telling | Noukeurigheid | Terugroeping |
|---|---|---|---|
| John Snow Labs | 96% | 95% | 97% |
| Azure AI | 91% | 90% | 92% |
| AWS Comprehend Medical | 83% | 81% | 85% |
| GPT-4o | 79% | 82% | 76% |
Die F1-telling kombineer noukeurigheid (hoeveel bespeurde entiteite was korrek) en terugroeping (hoeveel werklike entiteite is bespeur). Beide saak:
- Lae noukeurigheid = vals-positiewe (oor-redigering)
- Lae terugroeping = vals-negatiwe (gemiste PII = breuke)
Waarom die Gaping Bestaan
Opleidingsdata-Verskille
| Hulpmiddel | Opleiding-Fokus |
|---|---|
| John Snow Labs | Gesondheid-spesifiek, kliniese notas |
| Azure AI | Algemeen mediese + kliniese |
| AWS Comprehend | Algemeen mediese entiteite |
| GPT-4o | Breë opleiding, nie gesondheid-spesifiek |
John Snow Labs se modelle word spesifiek op kliniese dokumentasie opgelei—die troebel, afgekorte, konteks-afhanklike teks wat gesondheid werklik produseer.
Entiteit-Tipe Bedekking
Nie alle hulpmiddels speur dieselfde entiteite op nie:
| Entiteit | John Snow | Azure | AWS | GPT-4o | |--------|-----------|-------|-----|------...