Date of Award
6-2024
Document Type
Thesis
Degree Name
Master of Science in Software Engineering
Department
Computer Science and Software Engineering
First Advisor
Dr. Munkhjargal Gochoo
Abstract
Fisheye cameras are widely used in traffic monitoring for their broad view, yet their distortion challenges deep-learning models in pedestrian detection and tracking. Despite available datasets like FishEye8K, collected in Hsinchu, Taiwan, and the availability of several studies that have delved into pedestrian prediction systems, a notable gap remains: the absence of datasets specifically designed for the cultural context of the UAE. This study aims to address this gap by introducing an in-house fisheye dataset tailored to enhance the prediction and tracking of pedestrians in fisheye footage within the UAE's environment. The present study addresses the development of a Graphical User Interface (GUI) that combines YOLOv8 and Deep SORT, which are part of the proposed tracking-by-detection framework for real-time pedestrian detection and tracking in fisheye footage. It employs color-coded bounding boxes to enhance safety monitoring and simplification: green indicates pedestrians outside the crossing area; yellow highlights objects near the boundary; and red shows risk areas. The proposed model was manually tested on 20 videos and was classified with ratings of Excellent, Good, or Fair. When training with the UAE Fisheye dataset using both YOLO Nano and YOLO Medium versions, the results demonstrated ‘Excellent’ and ‘Good’ ratings. However, when training with the FishEye8k dataset, the results of the study have shown ‘Fair’ tracking performance. After 150-time epochs, the proposed YOLOv8m model achieved an F1-score of 0.836 and a mAP of 0.651, indicating its efficacy in recognizing distorted images and validating the hypothesized training approach.
Arabic Abstract
نظام التنبؤ بعبور المشاة في الوقت الفعلي بناءً على كاميرا عين السمكة
تُستخدم كاميرات العين السمكية (Fisheye cameras) على نطاق واسع في مراقبة المرور بسبب مجال الرؤية الواسع الذي توفره، ولكن تشوه الصورة الذي تُحدثه تلك الكاميرات يشكل تحديًا لنماذج التعلم العميق في كشف وتتبع المشاة. على الرغم من توفر مجموعات البيانات مثل FishEye8K، التي تم جمعها في هسينشو، تايوان، ووجود العديد من الدراسات التي بحثت في أنظمة التنبؤ بحركة المشاة، إلا أن هناك فجوة ملحوظة تبقى: غياب مجموعات بيانات مصممة خصيصًا للسياق الثقافي لدولة الإمارات العربية المتحدة. تهدف هذه الدراسة إلى سد هذه الفجوة من خلال تقديم مجموعة بيانات عين سمكية داخلية مُصممة خصيصًا لتعزيز التنبؤ وتتبع المشاة في لقطات العين السمكية ضمن بيئة دولة الإمارات العربية المتحدة. لقد طورنا واجهة مستخدم رسومية (GUI) تجمع بين YOLOv8 وDeep SORT، والتي تشكل جزءًا من إطار عملنا للكشف والتتبع بالكشف للتتبع الوقت الفعلي للمشاة في لقطات العين السمكية. يستخدم النظام صناديق تحديد ملونة للأمان: الأخضر يشير إلى المشاة خارج منطقة العبور، والأصفر لأولئك بالقرب من الحدود، والأحمر داخل مناطق الخطر، مما يعزز من مراقبة الأمان ويبسطها. تم اختبار نموذجنا يدويًا على 20 فيديو وتصنيفه بتقديرات ممتاز، جيد، أو مقبول. عند التدريب باستخدام مجموعة بيانات العين السمكية لدولة الإمارات باستخدام كل من نسختي YOLO Nano و YOLO Medium، حقق النموذج تقديرات ممتاز وجيد، بينما أسفر التدريب باستخدام مجموعة بيانات FishEye8k عن أداء تتبع مقبول. بعد 150 دورة تدريبية، حقق نموذج YOLOv8m درجة F1 تبلغ 0.836 و mAPتبلغ 0.651، مما يظهر فعاليته في التعرف على الصور المشوهة ويؤكد على صحة منهجية التدريب لدينا.
Recommended Citation
Almesafri, Mohammed Abdulla, "FISH-EYE CAMERA-BASED REAL-TIME PEDESTRIAN CROSSING PREDICTING SYSTEM" (2024). Theses. 1289.
https://scholarworks.uaeu.ac.ae/all_theses/1289
