Date of Award

4-2026

Document Type

Thesis

Degree Name

Master of Science in Software Engineering

Department

Computer Science and Software Engineering

First Advisor

Dr. Munkhjargal Gochoo

Abstract

Unmanned aerial vehicles (UAVs) are increasingly used in search‑and‑rescue (SAR) missions, yet many systems still rely on fragmented software where mission design, perception, and flight control are configured separately. This thesis examines whether a unified AI‑driven framework can reduce configuration effort and operator workload in UAV‑based SAR operations. The proposed system integrates natural‑language mission specification using a large language model (LLM) (LLaMA 3.1), autonomous coverage planning, YOLOv8‑based victim detection, and PX4/MAVSDK control within a single architecture. Operators describe missions through free‑form text or a graphical interface; the model converts these descriptions into structured mission parameters that are automatically planned and executed in a PX4 Software‑in‑the‑Loop simulation. A user study with 32 participants compares the framework against QGroundControl. Results show shorter mission‑setup time, fewer configuration steps, higher usability, and lower mental workload, with all participants preferring the new interface. The study demonstrates that coupling natural‑language interaction, autonomous planning, and perception can better connect human intent and autonomous UAV execution in SAR missions.

Arabic Abstract

التحكم بالمهمة والتخطيط الذاتي للطائرات بدون طيار في مهام البحث والإنقاذ باستخدام النماذج اللغوية الكبيرة: تقييم قائم على المحاكاة

تُستخدم الطائرات بدون طيار بشكل متزايد في مهام البحث والإنقاذ، إلا أن العديد من الأنظمة ما زالت تعتمد على حزم برمجية مجزأة تُخطط فيها مهمة الطيران والإدراك والتحكم كعناصر منفصلة. تدرس هذه الرسالة إمكانات إطار موحد قائم على الذكاء الاصطناعي لخفض جهد الإعداد وعبء المشغل في هذه المهام. يدمج النظام المقترح تحديد المهمة باللغة الطبيعية باستخدام نموذج لغوي كبير (LLaMA 3.1)، مع تخطيط تغطية ذاتي، واكتشاف الضحايا بخوارزمية YOLO، والتحكم عبر PX4/MAVSDK ضمن بنية واحدة. يصف المشغل المهام بأوامر نصية حرة أو من خلال واجهة رسومية، ثم تُحوَّل هذه الأوامر إلى معلمات مهيكلة تُخطط وتُنفذ تلقائياً في بيئة محاكاة PX4 من نمط Software-in-the-Loop. تقارن دراسة مستخدمين شملت 32 مشاركاً بين الإطار المقترح وبرنامج QGroundControl. تُظهر النتائج تقليل زمن إعداد المهمة وخطوات الضبط، وتحسن سهولة الاستخدام، وانخفاض العبء الذهني، مع تفضيل جميع المشاركين للواجهة الجديدة. توضح الدراسة أن الدمج بين التفاعل باللغة الطبيعية والتخطيط الذاتي والإدراك يعزز الربط بين نية المستخدم والتنفيذ الذاتي للطائرات في مهام البحث والإنقاذ.

Download
COinS