Pengo la Uzingatiaji la Maandishi ya RTL
GDPR haikomi kwenye Bosphorus. Makampuni ya EU yanayotumia zana za maandishi ya Kilatini yana pengo kubwa. Hili ni la kweli na kwa kiasi kikubwa linapuuzwa.
Tatizo si tu mwelekeo wa maandishi. Hati zinazoandikwa kulia kwenda kushoto (RTL) zinahitaji uwekaji alama tofauti. Zinahitaji usegmentaji tofauti. Mipaka ya vitengo inafanya kazi tofauti kuliko maandishi ya LTR. Mifumo ya NER iliyofunzwa kwa Kiingereza inatumia kanuni za LTR. Kanuni hizo zinashindwa kwenye maandishi ya RTL. Zinatoa mipaka mibaya ya vitengo.
Morfologia ya Kiarabu inafanya mambo kuwa magumu zaidi. Lugha inatumia mizizi. Mzizi mmoja unazalisha maumbo ya maneno mengi. Jina kama Mohammed linaweza kuonekana kama "Al-Mohammed," "bin Mohammed," au "Mohammed al-Rashid." Mifumo ya regex iliyoundwa kwa majina ya Magharibi inakosa maumbo haya. Mifano iliyofunzwa kwa Kiingereza pia inakosa.
GDPR haizingatie lugha kama mpaka wa uzingatiaji. Kampuni ya EU inayoshughulikia barua za wateja kutoka MENA lazima izingatie kanuni sawa na barua za Kifaransa. Kukosa PII katika maandishi ya RTL ni kushindwa kisheria chini ya GDPR Kifungu cha 32.
Kesi ya Matumizi ya KYC
Fintech ya Dubai inayoshughulikia nyaraka za KYC kwa wateja wa EU inaonyesha hili wazi.
Faili za KYC za wateja wa Kiarabu zina majina katika maandishi ya RTL, nambari za Emirates ID za UAE, na anwani za RTL. Hizi zinakaa pamoja na maandishi ya kibiashara ya Kiingereza.
Muundo wa Emirates ID ni 784-XXXX-XXXXXXX-X. Msimbo wa nchi 784. Mwaka wa kuzaliwa. Tarakimu saba. Tarakimu ya ukaguzi. Zana za PII za Magharibi ambazo hazina ufafanuzi wa vitengo vya UAE haziwezi kupata muundo huu. Sehemu za majina hupitia NER ya maandishi ya Kilatini. Usegmentaji ni mbaya. PII inakuwa haionekani katika mtiririko wa kazi.
Kwa makampuni yenye wajibu wa GDPR juu ya data hii, pengo hili linaunda hatari ya kisheria halisi. GDPR Kifungu cha 32 kinahitaji hatua sahihi za kiufundi. Zana inayokosa vitambulisho katika 22% ya lugha za ulimwengu si hatua sahihi.
Kiebrania na Hati za Lugha Nyingi
Kiebrania pia ina matatizo sawa. Maandishi yanakimbia kulia kwenda kushoto. Nambari za vitambulisho vya Israeli zinatumia jumla ya ukaguzi -- mtihani unaofanana na Luhn kwenye tarakimu tisa.
Nyaraka za kisheria za Israeli mara nyingi zinachanganya Kiebrania, maandishi ya Kiarabu, na Kiingereza katika faili moja. Hii ni kawaida katika mikataba ambapo Kiebrania ni lugha kuu na maneno ya Kiingereza yanaongezwa kwa rejea.
Faili za maandishi mchanganyiko zinahitaji ugunduzi wa maandishi kabla ya NER. Bila hilo, NER moja inatumia kanuni za Kilatini kwenye maandishi ya RTL. Matokeo ni mabaya.
Utafiti katika Nature Scientific Reports (2025) ulijaribu NER ya lugha nyingi kwenye PII ya RTL. Mifano ya kawaida ilipata alama ya F1 ya 0.60-0.83. XLM-RoBERTa iliyofunzwa kwa data ya NER ya RTL ilipata 0.88 na zaidi.
Mahitaji ya Usanifu wa Lugha Nyingi
Ugunduzi mzuri wa PII ya RTL unahitaji mambo matatu ambayo zana za Magharibi kwa kawaida hazijakuwa nazo.
Ushughulikiaji wa maandishi ya RTL: Uzingatiaji wa Unicode bidirectional kwa mtiririko sahihi wa maandishi. Uwekaji alama unaozingatia RTL unaopata mipaka ya maneno katika maandishi ya kulia kwenda kushoto.
NER inayozingatia morfologia: Kichunguzi cha kimorfologia kama Farasa kwa Kiarabu, au mfano wa transformer uliopewa mafunzo kwa data ya NER ya RTL. Mfano lazima ujifunze tofauti za kimorfologia.
Aina za vitengo za kanda maalum: Emirates ID, Israeli ID, Saudi National ID, na Egyptian National ID kila moja inahitaji ufafanuzi wazi na kanuni za muundo. Zana za Magharibi za jumla hazina hizi.
Angalia jinsi mfumo wetu wa NER wa lugha nyingi unavyoshughulikia ugunduzi wa maandishi katika lugha 48. Kwa orodha kamili ya aina za vitambulisho vya MENA tunazounga mkono, tembelea katalogi ya vitengo. Mwongozo wetu wa uzingatiaji wa GDPR unashughulikia jinsi mapungufu ya ugunduzi yanavyounda hatari ya Kifungu cha 32.