Date of Award

4-2026

Document Type

Dissertation

Degree Name

Doctor of Philosophy in Informatics and Computing

Department

Computer Science and Software Engineering

First Advisor

Dr. Leila Ismail

Abstract

The Deaf and Hard of Hearing (DHH) community uses sign language as a primary means of communication. However, the shortage of sign language interpreters and the existence of hundreds of sign languages limit accessibility and inclusion. Sign Language Machine Translation (SLMT) systems present a promising solution for bridging the communication gap between the DHH and the hearing individuals, supporting inclusive societies. In smart cities, such systems play an essential role in improving the quality of life on a community level. In particular, as the population’s well-being is critical, developing intelligent assistive technologies, such as SLMT systems, is necessary to provide safe, healthy, and pleasant experiences in critical domains such as healthcare and public services.

Existing SLMT systems face several challenges that limit their deployment in distributed and resource-constrained environments. Most approaches focus on translation quality, overlooking the computational cost of deep learning models and Quality-of-Service (QoS) requirements. Many low-resource sign languages and domain-specific datasets are also overlooked in the literature. Therefore, current SLMT systems struggle in critical domains where communication must be accurate and immediate.

This dissertation tackles these challenges by introducing a novel artificial intelligence (AI)-based SLMT system that combines an Adaptive Transformer (ADAT) and a Hierarchical Adaptive Transfer Learning (HATL) framework. ADAT is designed to lower computational cost without sacrificing translation quality, while HATL addresses sign data scarcity by closing the gap between large pretrained models and sign language. In addition, this dissertation introduces a trustworthy end-to-end SLMT framework that preserves user privacy and Quality-of-Service (QoS) requirements in distributed environments. This framework includes an edge–cloud–blockchain integration to handle lightweight inference, manage large-scale training, and provide immutable records and consent-aware data management.

Experimental results of the developed ADAT and HATL demonstrate improved translation quality and generalization robustness compared to state-of-the-art approaches. In addition, the proposed privacy-aware end-to-end SLMT framework shows that reliable translation performance can be achieved with acceptable latency for real-world deployment.

To validate the performance, we compare the proposed ADAT with state-of-the-art baselines. Numerical results demonstrate 50% faster training time, 2% reduced edge-cloud communication and translation times, and 11% improved translation quality. Moreover, we compare HATL’s performance against static fine-tuning approaches and prior SLMT systems. The results show improved adaptation across multiple sign languages. In particular, using HATL with ADAT outperforms static fine-tuning approaches by an average of 11.0 BLEU-4 points and prior state-of-the-art systems by an average of 4.0 BLEU-4 points.

Arabic Abstract


نظام ذكي للترجمة الآلية للغة الإشارة

يستخدم مجتمع الصم وضعاف السمع لغة الإشارة كوسيلة أساسية للتواصل. ومع ذلك، فإن النقص في مترجمي لغة الإشارة ووجود مئات لغات الإشارة يحدان من إمكانية الوصول والشمول. تعد أنظمة الترجمة الآلية للغة الإشارة (SLMT) حلاً واعداً لسد فجوة التواصل بين الصم وضعاف السمع والأفراد السامعين، بما يدعم بناء مجتمعات شاملة. تؤدي هذه الأنظمة دوراً أساسياً في المدن الذكية لتحسين جودة الحياة على مستوى المجتمع، وعلى وجه الخصوص، نظراً لأهمية رفاهية السكان، يصبح تطوير تقنيات مساعدة ذكية، مثل أنظمة SLMT، أمراً ضرورياً لتوفير تجارب آمنة وصحية ومرنة في المجالات الحيوية مثل الرعاية الصحية والخدمات العامة.

تواجه أنظمة SLMT الحالية عدة تحديات تحد من نشرها في الأنظمة الموزعة وذات الموارد المحدودة، إذ تركز معظم الطرق على جودة الترجمة مع تجاهل التكلفة الحاسوبية لنماذج التعلم العميق ومتطلبات جودة الخدمة. إضافة إلى ذلك، لا تزال العديد من لغات الإشارة منخفضة الموارد والبيانات محددة المجال غير مدروسة بشكل كافٍ في الأدب البحثي، ويتفاقم أثر هذه القيود في المجالات الحساسة التي تتطلب تواصلاً مضبوطاً وفي وقت مواتٍ.

تتناول هذه الأطروحة هذه التحديات من خلال تقديم نظام جديد قائم على الذكاء الاصطناعي (AI) للترجمة الآلية للغة الإشارة، يدمج بين بنية المحول التكيفي (ADAT) وإطار نقل التعلم التكيفي الهرمي (HATL). تم تصميم ADAT لتقليل التعقيد الحسابي مع الحفاظ على جودة الترجمة، بينما يهدف HATL إلى معالجة ندرة بيانات لغة الإشارة من خلال تقليص الفجوة بين النماذج المُدرَّبة مسبقاً ولغة الإشارة. كما تقترح الأطروحة إطاراً موثوقاً متكاملاً شاملاً (End-to-End) لأنظمة SLMT مخصصاً للتطبيق على أرض الواقع، مع الحفاظ على خصوصية المستخدم وتلبية متطلبات جودة الخدمة في البيئات الموزعة. ويتضمن الإطار دمج الحافة-السحابة-سلسلة الكتل (Edge–Cloud–Blockchain) لمعالجة الاستدلال الخفيف، وإدارة التدريب واسع النطاق، وتوفير سجلات غير قابلة للتغيير، وإدارة بيانات قائمة مراعية للموافقة.

تظهر النتائج التجريبية أن ADAT و HATL تحسناً في جودة الترجمة واستقرار التعميم مقارنة بأحدث الأساليب في هذا المجال. بالإضافة إلى ذلك، يبين الإطار المقترح الشامل والمراعي للخصوصية أنه يمكن تحقيق أداء ترجمة موثوق بزمن استجابة مقبول للتطبيق على أرض الواقع.

وللتحقق من الأداء، تمت مقارنة ADAT مع أحدث النماذج المرجعية. تُظهر النتائج الحديثة تقليل زمن التدريب بنسبة 50%، وخفض زمن الاتصال والترجمة بين الحافة والسحابة بنسبة 2%، وتحسين جودة الترجمة بنسبة 11%. علاوة على ذلك، تمت مقارنة أداء HATL مع أساليب التوليف الدقيق الثابتة السابقة في SLMT، حيث أظهرت النتائج تحسناً كبيراً على عدة لغات إشارة. وبشكل خاص، فإن استخدام HATL مع ADAT يتفوق على أساليب التوليف الدقيق الثابتة بمتوسط 11.0 نقطة على مقياس BLEU-4، ويتجاوز الأنظمة المتقدمة السابقة بمتوسط 4.0 نقاط على مقياس BLEU-4.

Download

Share

COinS