RTL Atitikties Spraga
BDAR nesibaigia prie Bosforo. ES imones, naudojancios lotyniskas raides, turi aklaja vieta. Ji yra tikra ir didele dalimi ignoruojama.
Problema nera vien teksto kryptis. Desinier kaires krypties rasciai reikalauja kito tokenizavimo. Jiems reikia kito segmentavimo. Esybiu ribos veikia kitaip nei kaireje-desineje tekste. NER sistemos, treniruotos su anglu kalba, taiko KD taisykles. Tos taisykles suluza ant DK teksto. Jos duoda neteisingas esybiu ribas.
Arabu morfologija komplikuoja situacija dar labiau. Kalba naudoja saknis. Viena saknis duoda desimtis zodziu formu. Vardas kaip Mohammed gali pasirodyti kaip "Al-Mohammed", "bin Mohammed" arba "Mohammed al-Rashid". Regex sablonai, sukurti Vakarietiskiem vardams, praleido sias formas. Modeliai, treniruoti su anglu kalba, taip pat jas praleido.
BDAR nelaiko kalbos atitikties riba. ES imone, tvarkanti klientu laiskas is MENA regionu, privalo laikytis tu paciu taisykliu kaip ir prancuzu laisku atveju. Praleisti AAS DK tekste yra teisinis nepavykimas pagal BDAR 32 straipsni.
KYC Naudojimo Atvejis
Dubajaus finansines technologijos imone, tvarkanti KYC dokumentus ES klientams, aiskriai parodo sia problema.
Arabu klientu KYC failuose yra vardai DK rasmenimis, UAE Emiratu atpazinimo korteliu numeriai ir DK adresai. Jie yra salia anglisku verslo teksto.
Emiratu atpazinimo korteliu formatas yra 784-XXXX-XXXXXXX-X. Salis kodas 784. Gimimo metai. Septyni skaitmenys. Kontrolinis skaitmuo. Vakarietiskos AAS priemones be UAE esybiu apibrezimu negali rasti sio formato. Vardu laukai eina per lotyniskas NER. Segmentavimas yra neteisingas. AAS tampa nematomas darbo eigoje.
Imones, turincios BDAR pareigas del siu duomenu, spraga sukuria tikra teisine rizika. BDAR 32 straipsnis reikalauja tinkamu techniniam priemoniu. Priemone, praleidusi identifikatorius 22% pasaulio kalbu, nera tinkama priemone.
Hebrajiskai ir Misrios Kalbos Dokumentai
Hebrajiskai pateikia panasias problemas. Rasmenys eina is desiniu i kaire. Izraelio atpazinimo numeriai naudoja kontroline suma - panasaus tipo i Luhno testa su devyniomis skaitmenimis.
Izraelio teisiniai dokumentai dazniausiai maiso hebrajiskai, arabiskai rasciai ir anglu kalba viename faile. Tai yra iprasta sutartyse, kur hebrajiskai yra pagrine kalba, o angliski terminai prideti kaip nuoroda.
Misriu rascio failai reikalauja rascio aptikimo pries NER. Be jo, vienas NER pereidimas taiko lotyniskas taisykles DK rasmenims. Isvestis yra neteisinga.
Moksliniai tyrimai Nature Scientific Reports (2025) isme kryzmines kalbos NER DK AAS. Standartiniai modeliai pasieke F1 nuo 0,60 iki 0,83. XLM-RoBERTa, suderintas su DK NER duomenimis, pasieke 0,88 ir daugiau.
Kryzmines Kalbos Architekturos Reikalavimas
Geras DK AAS aptikimas reikalauja triu daliku, kuriu Vakarietiskos priemones paprastai stokoja.
DK teksto tvarkymas: Unicode dvirektinio suderinamumo teisingam teksto srautui. DK zinantis tokenizavimas, randantis zodziu ribas desinier kaires krypties tekste.
Morfologijai jautrus NER: Morfologinis analizatorius kaip Farasa arabu kalbai arba transformeriu modelis, suderintas su DK NER duomenimis. Modelis turi but ismokes morfologines variacijos.
Regionui budingi esybiu tipai: Emiratu atpazinimo korteliu, Izraelio atpazinimo, Saudo Arabijos nacionalines atpazinimo ir Egipto nacionalines atpazinimo korteliu kiekvienas reikalauja aisku apibrezimu su formato taisyklemis. Bendros Vakarietiskos priemones ju neturi.
Skaitykite, kaip musu daugiakalbis NER vamzdynas tvarko rascio aptikima 48 kalbomis. Pilnam MENA identifikatoriaus tipu sarasui, kuri palaikome, aplankykite esybiu kataloga. Musu BDAR atitikties vadovas apraso, kaip aptikimo spragos sukuria 32 straipsnio poveiki.