2026-ra frissítve
A 22,7%-os pontossági probléma
Egy 2024-es tanulmány a Microsoft Presidio-t üzleti fájlokon tesztelte. A Presidio egy nyílt forráskódú PII-eszköz. A jogi csapatok és az egészségügyi szervezetek széles körben alkalmazzák.
A tanulmány azt mérte, milyen gyakran volt igaza a Presidio-nak. Az összes személynévként megjelölt elem közül mennyi volt valóban személynév?
A válasz 22,7% volt. Körülbelül minden 100 jelölésből 77 volt téves. A tanulmány 13 536 hamis jelölést számolt meg 4 434 mintafájlban.
A hibák nem véletlenszerűek voltak. Egyértelmű mintákat követtek:
- Névmások személyként megjelölve (pl. I mondat elején)
- Hajócímkék személyként megjelölve (pl. ASL Scorpio)
- Cégnévek személyként megjelölve (pl. Deloitte & Touche)
- Országnevek személyként megjelölve (pl. Argentina, Singapore)
Ezek egyike sem ritka szélső eset. Előfordulnak, valahányszor egy általános NLP-modell találkozik szakterület-specifikus szöveggel. A modellt nem arra fejlesztették, hogy megkülönböztesse őket.
Mennyibe kerülnek a hamis jelölések
A jogi és egészségügyi munkában minden jelölés választ igényel. A csapatoknak három lehetőségük van. Mindháromnak valós költségei vannak.
1. lehetőség: Minden jelölést ellenőriz valaki. Az ügyvédek és szakértők ideje óránként 200–800 dollárba kerül. 22,7%-os pontossággal a mennyiség hatalmas. Ez nem életképes nagy léptékben. Lásd az eDiscovery PII-automatizálás és jogi felülvizsgálati költségcsökkentés részt arról, hogyan nő a felülvizsgálati költség a mennyiséggel.
2. lehetőség: Kihagyja a felülvizsgálatot és bízik a kimenetben. Ez szintén kockázatos. Amikor a kitakart tételek 77%-a nem érzékeny, jogi kockázatot teremt. A bíróságok pénzbírsággal sújtottak ügyvédeket a túlzott kitakarásért. Lásd az eDiscovery-szankciók a túlzott kitakarásért részt dokumentált esetekért.
3. lehetőség: Emelje a pontszámküszöböt. A Presidio lehetővé teszi a felhasználóknak, hogy score_threshold-t állítsanak be a gyenge jelölések eltávolítása érdekében. Egy 2024-es DICOM-tanulmány 0,7-es értékkel tesztelte ezt — meglehetősen magas szint. Az eredmény: 39 DICOM-képből 38-nak még mindig voltak hamis jelölései. A küszöbök segítenek. Nem javítják az alapvető okot.
Miért küzd itt az általános NLP
A Presidio rése a betanítási adatok és a valós felhasználás közötti eltérésből fakad.
A jogi fájlok tele vannak nagybetűs kifejezésekkel. Az ügyszámok, törvénycímek és mellékletkódok mind személyes adatnak tűnnek egy általános modell számára. Megjelöli őket. Legtöbbje nem személyes adat.
Az egészségügyi fájlok gyógyszerneveket, eszközkódokat és klinikai rövidítéseket adnak hozzá. A Pt. beteget jelent. A Dr. orvost jelent. Ezek előre nehezen megjósolható módokon zavarják az entitásfelismerést.
A pénzügyi fájloknak vannak termékkódjaik, entitássztringjeik és fiókszámaik, amelyek felszíni mintákat osztanak a személyes rekordokkal.
A modell finomhangolása szakterületi adatokon segít. De megépíteni és naprakészen tartani időt és erőfeszítést igényel.
Hogyan javítja ezt a hibrid észlelés
A hamis jelölési problémára egyértelmű megoldás létezik. Ossza fel a munkát adattípus szerint.
Mintaszabályok strukturált adatokhoz. A társadalombiztosítási számok, telefonszámok, e-mail-címek és azonosítóformátumok rögzített szabályokat követnek. Egy karakterlánc vagy illeszkedik a mintára és megfelel az ellenőrző számjegy tesztjén, vagy nem. Nulla hamis jelölés érvényes szabálykészletek esetén.
Nyelvi modellek szabad szöveghez. Az utó- és keresztnevek, cégnévek és prózában szereplő helyek nincsenek merev struktúrában. Az NLP ott találja meg őket, ahol a szabályok nem tudnak. A megbízhatósági pontszámok és a kontextusellenőrzések csökkentik a hamis jelölések arányát.
Típusonkénti pontszámbeállítások a finomhangoláshoz. Azok a jogi csapatok, amelyek nem engedhetik meg maguknak a túlzott kitakarás kockázatát, magas küszöböket állítanak be a fuzzy egyezésekhez. Azok a kutatócsapatok, amelyeknek magas visszahívásra van szükségük, alacsonyabbakat állítanak be. Lásd a Bináris PII-észlelés és megbízhatósági pontszámolás a megfelelőséghez részt a pontszámszintek gyakorlati működéséről.
Az eredmény jóval kevesebb hiba, mint a Presidio alapértelmezettjeinél. A visszahívás ott marad erős, ahol a pusztán szabályok alapú megközelítés túl sokat hagyna ki.
A jogi és egészségügyi csapatok számára a kulcskérdés nem az, hogy léteznek-e hamis jelölések. Mindig léteznek NLP-rendszerekben. A kérdés az, hogy az eszköz lehetővé teszi-e a kompromisszum beállítását, mérését és dokumentálását.