Date of Award

4-2023

Document Type

Thesis

Degree Name

Master of Science and Software Engineering (MSSE)

Department

Computer Science and Software Engineering

First Advisor

Dr. Munkhjargal Gochoo

Abstract

According to the ministry of community development database in the United Arab Emirates (UAE) about 3065 people with disabilities are hearing disabled (Emirates News Agency - Ministry of Community Development). Hearing-impaired people find it difficult to communicate with the rest of society. They usually need Sign Language (SL) interpreters but as the number of hearing-impaired individuals grows the number of Sign Language interpreters can almost be non-existent. In addition, specialized schools lack a unified Sign Language (SL) dictionary, which can be linked to the Arabic language being of a diglossia nature, hence many dialects of the language co-exist. Moreover, there are not sufficient research work in Arabic SL in general, which can be linked to the lack of unification in the Arabic Sign Language. Hence, presenting an Emirate Sign Language (ESL) electronic Dictionary (e-Dictionary), consisting of four features, namely Dictation, Alpha Webcam, Vocabulary, and Spell, and two datasets (letters and vocabulary/sentences) to help the community in exploring and unifying the ESL. The vocabulary/sentences dataset was recorded by Azure Kinect and includes 127 signs and 50 sentences, making a total of 708 clips, performed by 4 Emirate signers with hearing loss. All the signs were reviewed by the head of the Community Development Authority in UAE for compliance. ESL e-Dictionary integrates state-of-the-art methods i.e., Automatic Speech recognition API by Google, YOLOv8 model trained on our dataset, and an algorithm inspired by bag of words model. Experimental results proved the usability of the e-Dictionary in real-time on laptops. The vocabulary/sentences dataset will be publicly offered in the near future for research purposes.

Arabic Abstract

بحسب قاعدة بيانات وزارة تنمية المجتمع في دولة الإمارات العربية المتحدة فإن حوالي 3065 شخصاً من ذوي الإعاقة هم من ذوي الإعاقة السمعية (وكالة أنباء الإمارات - وزارة تنمية المجتمع). يجد ضعاف السمع صعوبة في التواصل مع بقية المجتمع. عادة ما يحتاجون إلى مترجمين للغة الإشارة، ولكن مع تزايد عدد الأشخاص الذين يعانون من ضعف السمع، يمكن أن يكون عدد مترجمي لغة الإشارة غير موجود تقريبًا. بالإضافة إلى ذلك، تفتقر المدارس المتخصصة إلى قاموس موحد للغة الإشارة، والذي يمكن ربطه بكون اللغة العربية ذات طبيعة ثنائية اللغة، وبالتالي تتعايش العديد من لهجات اللغة. علاوة على ذلك، لا توجد أعمال بحثية كافية في لغة الإشارة العربية بشكل عام، و يمكن ربط ذلك بعدم وجود توحيد في لغة الإشارة العربية. وعلى ذلك، نقدم قاموس إلكتروني بلغة الإشارة الإماراتية (ESL)، يتكون من أربع ميزات، وهي الإملاء، وكاميرا ويب ألفا، والمفردات، والتهجئة، ومجموعتين من البيانات (الحروف والمفردات/ الجمل) لمساعدة المجتمع في استكشاف وتوحيد لغة الاشارة الإماراتية. تم تسجيل مجموعة بيانات المفردات / الجمل بواسطة Azure Kinect وتتضمن 127 علامة و 50 جملة، يؤديها 4 إماراتيين يعانون من ضعف السمع. نتج عن ذلك 708 مقطع تسجيل، تمت مراجعة جميع التسجيلات من قبل رئيس هيئة تنمية المجتمع في الإمارات للتأكد من صحة تنفيذها ودقتها. يدمج قاموس ESL الإلكتروني أحدث الأساليب، مثل واجهة برمجة تطبيقات التعرف التلقائي على الكلام من Google، ونموذج YOLOv8 المدرب على مجموعة البيانات الخاصة بنا، وخوارزمية مستوحاة من نموذج حقيبة الكلمات. أثبتت النتائج التجريبية سهولة استخدام القاموس الإلكتروني في أرض الواقع على أجهزة الحاسوب المحمولة. سيتم تقديم مجموعة التسجيلات المفردات / الجمل للجمهور في المستقبل القريب لأغراض البحث.

Download
COinS