Imesasishwa kwa 2026
Tatizo la Usahihi wa 22.7%
Utafiti wa 2024 ulijaribu Microsoft Presidio kwenye faili za biashara. Presidio ni zana ya PII ya chanzo wazi. Timu za kisheria na vikundi vya afya vinatumia sana.
Utafiti ulipima mara ngapi Presidio ilikuwa sahihi. Ya vitu vyote vilivyoandikwa kama majina ya watu, ni ngapi zilikuwa kweli majina ya watu?
Jibu lilikuwa 22.7%. Karibu 77 kati ya kila matandiko 100 yalikuwa makosa. Utafiti ulihesabu matandiko ya uwongo 13,536 katika faili sampuli 4,434.
Makosa hayakuwa ya nasibu. Yaliendelea kwa mifumo wazi:
- Viwakilishi vilivyoandikwa kama watu ("Mimi" mwanzoni mwa sentensi)
- Lebo za meli zilizoandikwa kama watu ("ASL Scorpio")
- Lebo za kampuni zilizoandikwa kama watu ("Deloitte & Touche")
- Maneno ya nchi yaliyoandikwa kama watu ("Argentina," "Singapore")
Hizi si kesi za pembezoni za nadra. Zinaonekana wakati wowote mfano wa jumla wa NLP unakutana na maandishi maalum ya kikoa. Mfano haukujengwa kutofautisha.
Gharama ya Matandiko ya Uwongo
Katika kazi ya kisheria na afya, kila tandiko linahitaji majibu. Timu zinakabiliwa na chaguo tatu. Zote tatu zina gharama za kweli.
Chaguo 1: Mtu anakagua kila tandiko. Muda wa wanasheria na wataalamu unagharimu $200 hadi $800 kwa saa. Kwa usahihi wa 22.7%, kiasi ni kikubwa. Hii haiwezekani kwa kiwango. Angalia Uautomasho wa PII wa eDiscovery na Kupunguza Gharama za Ukaguzi wa Kisheria kwa jinsi gharama za ukaguzi zinavyokua na kiasi.
Chaguo 2: Ruka ukaguzi na kuamini matokeo. Hii pia ina hatari. Wakati 77% ya vipengele "vilivyofutwa" si nyeti, unaumba hatari ya kisheria. Mahakama zimefunja wanasheria kwa kufuta kupita kiasi. Angalia Adhabu za Kufuta Kupita Kiasi za eDiscovery kwa kesi zilizorekodiwa.
Chaguo 3: Inua kizingiti cha alama. Presidio inaruhusu watumiaji kuweka score_threshold ili kuacha matandiko dhaifu. Utafiti wa DICOM wa 2024 ulijaribu hili kwa 0.7 - kiwango cha juu kiasi. Matokeo: 38 kati ya picha 39 za DICOM bado zilikuwa na matandiko ya uwongo. Vizingiti husaidia. Havishughulikii sababu kuu.
Kwa Nini NLP ya Jumla Inapigana Hapa
Pengo la Presidio linatokana na kutofanana kati ya data ya mafunzo na matumizi ya ulimwengu halisi.
Faili za kisheria zimejaa maneno ya herufi kubwa. Majina ya kesi, majina ya sheria, na misimbo ya onyesho yote yanaonekana kama data ya kibinafsi kwa mfano wa jumla. Unawaandika. Wengi si data ya kibinafsi.
Faili za afya zinaongeza majina ya dawa, misimbo ya vifaa, na vifupi vya kliniki. "Pt." inamaanisha Mgonjwa. "Dr." inamaanisha Daktari. Hizi zinapinga ugundua wa huluki kwa njia ambazo ni vigumu kutabiri.
Faili za fedha zina misimbo ya bidhaa, mfuatano wa huluki, na vitambulisho vya akaunti ambavyo vinashiriki mifumo ya uso na kumbukumbu za kibinafsi.
Kusafisha mfano kwenye data ya kikoa husaidia. Lakini huchukua muda na juhudi kujenga na kusasisha.
Jinsi Kugundua kwa Mseto Kunavyorekebisha Hili
Tatizo la matandiko ya uwongo lina ufumbuzi wazi. Gawanya kazi kwa aina ya data.
Kanuni za mfumo kwa data iliyopangwa. Nambari za usalama wa jamii, nambari za simu, anwani za barua pepe, na miundo ya vitambulisho inafuata kanuni zilizowekwa. Mfuatano ama unafanana na mfumo na kupita jaribio la tarakimu ya ukaguzi, au haupiti. Matandiko ya uwongo ya sifuri kwa seti sahihi za kanuni.
Mifano ya lugha kwa maandishi huru. Majina ya kwanza na ya ukoo, lebo za kampuni, na maeneo katika nathari hana muundo mgumu. NLP inayapata wakati kanuni haziwezi. Alama za uaminifu na ukaguzi wa muktadha hupunguza kiwango cha matandiko ya uwongo.
Mipangilio ya alama kwa kila aina kwa udhibiti mzuri. Timu za kisheria ambazo haziwezi kuhatarisha kufuta kupita kiasi huweka vizingiti vya juu kwa mechi za fuzzy. Timu za utafiti zinazohitaji ukumbusho wa juu huweka vya chini zaidi. Angalia Kugundua PII kwa Binari na Alama za Uaminifu kwa Utii kwa jinsi viwango vya alama vinavyofanya kazi kwa vitendo.
Matokeo ni makosa machache sana kuliko msingi wa Presidio. Ukumbusho unabaki imara mahali ambapo kanuni peke yake zingemiss nyingi sana.
Kwa timu za kisheria na afya, swali muhimu si kama matandiko ya uwongo yanapo. Daima yako katika mifumo ya NLP. Swali ni kama zana inakuruhusu kuweka, kupima, na kuandika usawa.