Date of Award

6-2021

Document Type

Thesis

Degree Name

Master of Science (MS)

Department

Computer Engineering

First Advisor

Abderrahmane Lakas

Second Advisor

Dr. Amir Ahmad

Abstract

Road traffic management in metropolitan cities and urban areas, in general, is an important component of Intelligent Transportation Systems (ITS). With the increasing number of world population and vehicles, a dramatic increase in road traffic is expected to put pressure on the transportation infrastructure. Therefore, there is a pressing need to devise new ways to optimize the traffic flow in order to accommodate the growing needs of transportation systems. This work proposes to use an Artificial Intelligent (AI) method based on reinforcement learning techniques for computing near-optimal vehicle itineraries applied to Vehicular Ad-hoc Networks (VANETs). These itineraries are optimized based on the vehicle’s travel distance, travel time, and traffic road congestion. The problem of traffic density is formulated as a Markov Decision Process (MDP). In particular, this work introduces a new reward function that takes into account the traffic congestion when learning about the vehicle’s best action (best turn) to take in different situations. To learn the effect of this approach, the work investigated different learning algorithms such as Q-Learning and SARSA in conjunction with two exploration strategies: (a) e-greedy and (b) Softmax. A comparative performance study of these methods is presented to determine the most effective solution that enables the vehicles to find a fast and reliable path. Simulation experiments illustrate the effectiveness of proposed methods in computing optimal itineraries allowing vehicles to avoid traffic congestion while maintaining reasonable travel times and distances.

Comments

في الوقت الحاضر، تعتبر إدارة حركة المرور أحد أهم جوانب المناطق والمدن الحضرية. مع التزايد السريع في عدد السكان والمركبات في جميع أنحاء العالم، من المتوقع أن يزداد الحمل المروري على البنية التحتية للنقل بشكل كبير. وبالتالي، هناك حاجة لتحسين تدفق حركة المرور من أجل تلبية الاحتياجات المتزايدة لأنظمة النقل. في هذا العمل، اقترحنا استخدام تقنية التعلم المعزز مع VANET لتحديد المسار شبه الأمثل في شبكة النقل من حيث أقل مسافة، أقل وقت سفر وازدحام على الطريق. على وجه الخصوص، نقدم وظيفة مكافأة جديدة تأخذ الازدحام المروري في عين الاعتبار لتعليم السيارة أفضل إجراء يمكن اتخاذه في المواقف المختلفة. تم تطبيق هذا الحل باستخدام خوارزميات تعليمية مختلفة ، SARSA و Q-Learning جنبًا إلى : جنب مع استراتيجيتين للاستكشاف .𝑠𝑜𝑓𝑡𝑚𝑎𝑥 و 𝜖 – 𝑔𝑟𝑒𝑒𝑑𝑦 تم مقارنة أداء هذه الطرق لتحديد الحل الأكثر فعالية الذي يمكّن السيارة من العثور على مسار سريع وموثوق. أظهرت التجارب التي تم إجراؤها أن السيارة تختار مسار الرحلة شبه الأمثل مع ازدحام مروري طفيف ووقت سفر أقل مقارنة بالمسارات الأخرى

Download
COinS