50% چھوٹنے کی شرح کا مسئلہ
2025 کے ایک سروے (arXiv:2509.14464) نے طبی ریکارڈ پر LLM ٹولز کو آزمایا۔ نتائج برے تھے۔ یہ ٹولز کثیر لسانی دستاویزات میں 50% سے زیادہ طبی PHI چھوڑ گئے۔ وجہ سادہ ہے۔ LLMs متن آؤٹ پٹ کے لیے بنائے گئے ہیں۔ وہ اس ہائی ریکال ڈیٹیکشن کام کے لیے نہیں بنائے گئے جو HIPAA کا تقاضا کرتا ہے۔
HIPAA سیف ہاربر 18 محفوظ شناختی اقسام درج کرتا ہے۔ نام، تاریخیں، فون نمبر، SSNs، MRNs، ہیلتھ پلان IDs، ڈیوائس IDs، اور IP پتے۔ ہر ایک کو اپنی ڈیٹیکشن منطق کی ضرورت ہے۔
طبی نوٹ اسے مزید مشکل بناتے ہیں۔ یہ مثال لیں: "Pt. John D., DOB 4/12/67, MRN 1234567, admitted 03/15/24, Dr. Smith ordered ECG." ایک جملہ۔ پانچ محفوظ شناختیں۔ زیادہ تر مختصر شکلیں استعمال کرتی ہیں۔ طبی معنی کے لیے بنایا گیا ماڈل اکثر ڈیٹیکشن کام میں ناکام ہوتا ہے۔
LLMs کیا اور کیوں چھوڑتے ہیں
LLM ٹولز طبی ریکارڈ پر مقررہ طریقوں سے ناکام ہوتے ہیں۔
مختصر شکل کی شناختیں: طبی نوٹ مخففات استعمال کرتے ہیں۔ DOB، MRN، اور Pt. عام شکلیں ہیں۔ طبی معنی کے لیے ٹیون کیا گیا ماڈل "Pt. John D." کو نام کے طور پر نشان زد نہیں کر سکتا۔ حساس ڈیٹا نکالنے کا ایک مختلف مقصد ہے۔
سیاق و سباق پر منحصر تاریخیں: تمام تاریخیں ایک جیسا خطرہ نہیں ڈالتیں۔ "Age 67" ایک نرم نشانہ ہے۔ "DOB 4/12/67" ایک براہ راست محفوظ شناختی ہے۔ داخلہ کی تاریخ کے طور پر "03/15/24" بھی محفوظ ہے۔ تنہا پیٹرن میچنگ کافی نہیں ہے۔
غیر امریکی فارمیٹس: Cyberhaven (Q4 2025) نے پایا کہ تمام ChatGPT ان پٹس میں سے 34.8% میں خفیہ کاروباری معلومات ہیں، بشمول کثیر لسانی PII۔ صحت کی دیکھ بھال میں، اس کا مطلب غیر امریکی ریکارڈ IDs، علاقائی تاریخ کے فارمیٹس، اور مقامی ہیلتھ ID اقسام ہیں۔ امریکی تربیت یافتہ ٹولز انہیں مستقل طور پر چھوڑتے ہیں۔
کسٹم ہسپتال شناختیں: ہسپتال اپنے MRN فارمیٹس، اسٹاف IDs، اور سائٹ کوڈز استعمال کرتے ہیں۔ یہ معیاری NER تربیتی ڈیٹا میں نہیں ہیں۔ کوئی کسٹم ہستی سپورٹ نہ رکھنے والا ٹول انہیں نہیں ڈھونڈے گا۔
تحقیقی ڈیٹاسیٹ کا خطرہ
500,000 نوٹوں سے تحقیقی ڈیٹاسیٹ بنانے والا ہسپتال ایک حقیقی تعمیل مسئلے کا سامنا کرتا ہے۔ HIPAA ڈی شناخت کیے گئے ڈیٹا پر "بہت کم خطرے" کا معیار مانگتا ہے۔ ایک ٹول جو تمام محفوظ شناختوں میں سے نصف چھوڑتا ہے وہ اس معیار پر پورا نہیں اتر سکتا۔
تحقیقی آرکائیوز صاف ڈیٹا نہیں ہیں۔ نوٹ کئی محکموں، وقت کے ادوار، اور کبھی کبھی زبانوں پر پھیلے ہوتے ہیں۔ ایک ٹول جو بلنگ ڈیٹا پر کام کرتا ہے وہ بیانیہ نوٹ پر ناکام ہو سکتا ہے۔ آزاد متن میں حساس ڈیٹا کا کوئی فیلڈ لیبل نہیں ہوتا۔
IRB منظوری مزید تقاضے جوڑتی ہے۔ اداروں کو استعمال کیا گیا طریقہ، ہٹائی گئی شناختی اقسام، اور کیے گئے چیکس دکھانے ہوں گے۔ تمام ریکارڈ میں سے نصف چھوڑنے والا ٹول ان تقاضوں پر پورا نہیں اتر سکتا۔
دیکھیں ہماری تعمیل کا جائزہ اور سیکیورٹی پریکٹسز کہ کیسے anonym.legal HIPAA کام کو سپورٹ کرتا ہے۔
تین تہوں کا حل
2025 کے سروے نے ایک واضح پیٹرن پایا۔ سب سے کم چھوٹنے کی شرح والے ٹولز تین ڈیٹیکشن تہوں کا استعمال کرتے تھے۔
تہہ ایک — regex: منظم شناختیں ڈھونڈتا ہے۔ SSNs، MRNs، فون نمبر، ہیلتھ پلان IDs۔ مقررہ فارمیٹس پر قابل اعتماد۔
تہہ دو — NER: ٹرانسفارمر ماڈل استعمال کرتا ہے۔ بیانیہ متن میں نام، تاریخیں، اور حساس ڈیٹا ڈھونڈتا ہے۔ جہاں regex نہیں کر سکتا وہاں کام کرتا ہے۔
تہہ تین — کسٹم ہستیاں: سائٹ مخصوص شکلوں کو سنبھالتی ہیں۔ ملکیتی MRN پیٹرن، اسٹاف IDs، سہولت کوڈز۔ کوئی معیاری ماڈل انہیں cover نہیں کرتا۔
خالص ML ٹولز مختصر شکلوں اور غیر انگریزی متن پر خراب ہو جاتے ہیں۔ خالص regex ٹولز بغیر فیلڈ لیبل کے حساس ڈیٹا چھوڑتے ہیں۔ اکیلے نہ ہی کافی ہے۔
صرف تین تہوں کے ڈیزائن نے سروے میں 5% سے کم چھوٹنے کی شرح حاصل کی۔ یہ HIPAA سیف ہاربر تعمیل کا معیار ہے۔
اگلے مراحل کے لیے تحقیق کے لیے HIPAA سیف ہاربر ڈی شناخت پر ہماری گائیڈ دیکھیں۔