Date of Award
11-2023
Document Type
Dissertation
Degree Name
Doctor of Philosophy in Informatics and Computing
Department
Computer and Network Engineering
First Advisor
Fady Alnajjar
Second Advisor
Hamad Al Jassmi
Abstract
Cracks are the earliest signs of structural deterioration that reduce the lifespan and reliability of structures and can lead to severe damage. Assessment and monitoring of the facilities are required for lifetime maintenance and failure prediction. Structure condition information can be obtained manually, i.e., through subjective visual inspection and evaluation by human experts. Manual inspection techniques are labor-intensive, time-consuming, and inspector-dependent, i.e., vulnerable to the inspector’s perceptiveness. Automatic crack detection is crucial at the earliest stage to avoid further structure degradation and allow fast intervention. Deep Learning algorithms have become more popular in crack detection systems in recent years. However, many challenges are associated with the development of Deep Learning based crack detection and segmentation systems. Some of the limitations and challenges include the deployment of DL models on devices with limited computational resources, availability of public datasets, selection of optimum dataset size, the impact of parameters such as variance within data samples, network depth, and the required number of training epochs on the performance of the model. Additionally, improving the performance of DL-based crack detection and segmentation approaches presents an added complexity, particularly when integrating them with various modules. Moreover, achieving efficient segmentation of cracks and evaluating their severity based on their quantity poses an additional challenge. Therefore, to address these challenges, we developed various lightweight and optimized novel DL models for crack classification, localization, and segmentation tasks. Furthermore, we investigated how data and model parameters affect the performance of the models. The crack classification and localization performance of the DL was enhanced by exploring ensemble modeling and its integration with traditional classifiers. Additionally, we introduced two novel architectures for crack segmentation tasks, one utilizing ViT (Vision Transformer) blended with a Sliding Window and Tubularity Flow Field (TuFF) algorithm and the other built upon U-Net, which we have named RS-Net. The proposed RS-Net architecture was also integrated with various morphological operations such as skeletonization and crack measurement to assess the severity of cracks and categorize them into hairline, medium, and severe labels based on their respective width. The proposed models were trained by utilizing both publicly available datasets and custom datasets collected from concrete and pavement structures. Extensive Experimental results demonstrated that the proposed models have promising performance, outperforming earlier models on testing data for crack classification, localization, and segmentation with a promising accuracy (>0.97). Overall, the proposed research has significant potential to automate traditional inspection techniques and help the authorities to make well-informed decisions about the maintenance of the structures.
Arabic Abstract
أتمتة الكشف عن التصدعات وتحديد الكميات في مرافق البنية التحتية المدنية باستخدام تقنيات التعلم العميق
الشقوق هي العلامات الأولى للتدهور الهيكلي في مرافق البنية التحتية والذي يقلل من عمر وموثوقية الهياكل ويمكن أن يؤدي إلى أضرار جسيمة. لذلك يتطلب الأمر تقييم ورصد المرافق للصيانة مدى الحياة والتنبؤ بالفشل. يمكن الحصول على معلومات حالة الهيكل يدويًا، أي من خلال الفحص البصري الذاتي والتقييم من قبل خبراء بشريين. تتطلب تقنيات التفتيش اليدوي عمالة مكتفة، وتستغرق وقتا طويلاً، وتعتمد على تقييم وإدراك المفتش. يعد الكشف التلقائي عن الشقوق أمرًا بالغ الأهمية في المرحلة المبكرة لتجنب المزيد من تدهور الهيكل والسماح بالتدخل السريع. أصبحت خوارزميات التعلم العميق أكثر شيوعًا في أنظمة اكتشاف الشقوق في السنوات الأخيرة. ومع ذلك، ترتبط العديد من التحديات بتطوير أنظمة الكشف عن الشقوق وتقسيمها القائمة على التعلم العميق. تتضمن بعض القيود والتحديات نشر نماذج التعلم العميق على الأجهزة ذات الموارد الحسابية المحدودة، وتوافر مجموعات البيانات العامة، واختيار الحجم الأمثل لمجموعة البيانات، وتأثير المعلمات مثل التباين داخل عينات البيانات، وعمق الشبكة، والعدد المطلوب من التدريب العصور على أداء النموذج. بالإضافة إلى ذلك، فإن تحسين أداء أساليب الكشف عن الشقوق وتحديدها وتقسيمها المستندة إلى التعلم العميق يمثل تعقيدًا إضافيًا، خاصة عند دمجها مع وحدات مختلفة. علاوة على ذلك، فإن تحقيق التجزئة الفعالة للشقوق وتقييم خطورتها بناءً على كميتها يشكل تحديا إضافيًا. لذلك، ولمواجهة هذه التحديات، قمنا بتطوير نماذج تعلم العميق جديدة خفيفة الوزن ومحسنة لتصنيف الشقوق وتجزئتها. قمنا بدراسة كيفية تأثير البيانات معاملات النموذج على أداء النماذج المقترحة. تم تحسين تصنيف الشقوق وأداء التعلم العميق من خلال استكشاف نماذج التجميع إضافة الى المصنفات التقليدية. قدمنا ايضا بنيتين جديدتين لمهام تجزئة الشقوق أحدهما يستخدم محول الرؤية الممزوج بخوارزمية النافذة المنزلقة وحقل التدفق الأنبوبي والآخر مبني على U-Net، والذي أطلقنا عليه اسم RS-Net. تم أيضًا دمج بنية RS -Net المقترحة مع العديد من العمليات المورفولوجية لتقييم شدة الشقوق وتصنيفها إلى علامات بسيطة ومتوسطة وشديدة بناءً على عرض كل منها. تم تدريب النماذج المقترحة من خلال استخدام مجموعات البيانات المتاحة ومجموعات البيانات المخصصة التي تم جمعها من الهياكل الخرسانية والأرصفة. أظهرت النتائج التجريبية الشاملة أن النماذج المقترحة تتمتع بأداء واعد، حيث تتفوق على النماذج السابقة في اختبار بيانات تصنيف الشقوق تحديدها وتقسيمها بدقة واعدة (>0.97) . وبشكل عام، يتمتع البحث المقترح بإمكانيات كبيرة لأتمتة تقنيات التفتيش التقليدية ومساعدة السلطات على اتخاذ قرارات مستنيرة بشأن صيانة الهياكل.
Recommended Citation
Ali, Luqman, "AUTOMATION OF CRACK DETECTION AND QUANTIFICATION IN CIVIL INFRASTRUCTURE FACILITIES USING DEEP LEARNING TECHNIQUES" (2023). Dissertations. 278.
https://scholarworks.uaeu.ac.ae/all_dissertations/278