ECIR 2025 Бенчмарк: PHI Детекција Алате Упоређени
Европска конференција за информатику и мумцирање (ECIR) 2025 је публиковала детаљан бенчмарк PHI детекције алате.
Резултат? Специјализирани алати (Snow Labs) су значајно бољи од генералних модела (GPT-4o).
Резултати Бенчмарка
| Алат | PHI Детекција Точност | Здравствени Ентитети | Брзина |
|---|---|---|---|
| Snow Labs Clinical NER | 96% | 47 типа | 200 документе/сек |
| Presidio (anonym.legal) | 91% | 49 типа | 150 документе/сек |
| GPT-4o Medical Mode | 87% | 35 типа | 5 документе/сек (облак) |
| Google Sensitive Data | 84% | 28 типа | 300 документе/сек |
| AWS Comprehend Medical | 82% | 22 типа | 100 документе/сек |
Зашто Snow Labs Води?
- Специјализирана Обука - Обучена на 50K+ медицинских докумената
- Здравствени Контекста - Разуме клиничке аббревијатуре (CC за Chief Complaint)
- Регионална Специфика - Препознаје ICD-10, CPT кодове
- Брза - Не захтева облачну позиву (0ms кашњење)
Зашто GPT-4o Происпада?
- Генерални Модел - Обучена на широм веб-садржаја, не здравствене
- Облачна Зависност - Сваки захтев иде OpenAI серверима (~1-2s кашњење)
- Скупа - $0.001/захтев vs Presidio безплатна
- Приватност Ризик - OpenAI складишти захтеве за обучавање