Date of Award

6-2026

Document Type

Thesis

Degree Name

Master of Science in Information Security

Department

Information Systems and Security

First Advisor

Mohammad Mehedy Masud

Abstract

The enhanced QUIC protocol's encryption capabilities not only encrypt the traffic payload but also encrypt the packet headers that network security tools rely on for packet inspection. This enhanced encryption capability introduces challenges for network operators in monitoring and analyzing network traffic by creating blind spots in firewalls, intrusion detection systems, and deep packet inspection devices. Earlier research has demonstrated that training machine learning classifiers on individual QUIC packets across different classifiers has failed to detect any malicious traffic due to encrypted packet headers.

This thesis demonstrates that shifting to network flow analysis resolves this problem. Rather than analyzing individual packets, we aggregate statistical features such as packet size distributions, inter-arrival times, and directional byte counts, across complete sessions which remain observable even when all payloads are encrypted. We built a 12-virtual-machine isolated lab environment and generated two labeled datasets: MASTER_DATASET V1 (13,308 flows, 7 classes) and MASTER_DATASET V2 (143,701 flows, 9 classes), covering five QUIC attack types and four benign and non-QUIC traffic categories. Six machine learning methods were evaluated: Random Forest, Decision Tree, Isolation Forest, One-Class SVM, K-Means, and DBSCAN.

The Random Forest classifier achieves 96.40% nine-class accuracy and F1 Macro = 0.9800 on MASTER_DATASET V2, with migration abuse F1 = 1.0000 perfect detection of the primary attack class. This result is confirmed on both datasets, under random and temporal splits, and by the unsupervised Isolation Forest, which detects 100% of all QUIC attack classes without any labeled attack training data. A feature selection analysis shows that ten flow-level features are sufficient to match full accuracy within 0.02%, reducing the feature space by 80%. A Decision Tree with 43 nodes matches the Random Forest accuracy exactly, providing a fully interpretable and deployable detection specification.

The findings demonstrate that encrypted QUIC attacks are detectable at the flow level using standard passive network monitoring without deep packet inspection, decryption, or specialized hardware. The ten-feature detection specification and the two labeled datasets produced in this research provide a foundation for future work in encrypted QUIC traffic analysis.

Arabic Abstract


كشف حركة مرور بروتوكول QUIC الخبيثة باستخدام التعلم الآلي من خلال شذوذ التدفق الشبكي

تُعجّز قدرات التشفير المتقدمة لبروتوكول QUIC أدوات أمن الشبكات عن فحص حزم البيانات، لأنها تُشفّر حمولة الحزمة ورأسها معاً. يخلق هذا التشفير القوي نقاطاً عمياء في جدران الحماية، وأنظمة كشف التسلل، وأجهزة الفحص العميق للحزم، مما يمنح عوائق أمام مشغلي الشبكات في مراقبة حركة المرور وتحليلها. وأظهرت الأبحاث السابقة أن تدريب مصنفات التعلم الآلي على حزم QUIC الفردية يفشل في كشف حركة المرور الخبيثة بسبب تشفير رؤوس الحزم.

تثبت هذه الأطروحة أن الانتقال إلى تحليل تدفق الشبكة يحل هذه المشكلة. وتقوم بتجميع الميزات الإحصائية عبر الجلسات الكاملة بدلاً من تحليل الحزم الفردية، وتظل هذه الميزات مرئية حتى عند تشفير الحمولة بالكامل، وتتضمن توزيعات حجم الحزمة، وأوقات الوصول البيني، وتعداد البايتات الاتجاهي. أنشأنا بيئة مختبرية معزولة مكونة من 12 جهازاً افتراضياً، ولدينا مجموعتي بيانات مصنفتين: الأولى MASTER DATASET V1 وتضم 13,308 تدفقاً و7 فئات، والثانية MASTER DATASET V2 وتضم 143,701 تدفقاً و9 فئات، وتغطي المجموعتان خمسة أنواع من هجمات QUIC وأربع فئات لحركة المرور السليمة وغير التابعة لبروتوكول QUIC. وقيّمنا ستة أساليب للتعلم الآلي: الغابة العشوائية (Random Forest)، وشجرة القرار (Decision Tree)، وغابة العزل (Isolation Forest)، وآلة متجه الدعم أحادية الفئة (One-Class SVM)، وK-Means، وDBSCAN.

حقق مصنف الغابة العشوائية دقة بنسبة 96.40% لتسع فئات، ومقياس F1 Macro بقيمة 0.9800 على مجموعة البيانات الثانية، مع تحقيق دقة كاملة F1 = 1.0000 في كشف هجوم إساءة استخدام نقل الاتصال (migration_abuse)، وهو الهجوم الرئيسي. وتؤكد مجموعتا البيانات هذه النتيجة تحت التقسيم العشوائي والزمني، وبواسطة غابة العزل غير الخاضعة للإشراف، والتي تكشف 100% من جميع فئات هجمات QUIC دون الحاجة لبيانات تدريب مصنفة للهجمات. ويظهر تحليل اختيار الميزات أن عشر ميزات فقط على مستوى التدفق كافية لمطابقة الدقة الكاملة بفارق ضئيل يبلغ 0.02%، مما يقلل مساحة الميزات بنسبة 80% ويتطلب شجرة قرار ذات 43 عقدة. دقة الغابة العشوائية تماماً، مما يوفر مواصفات كشف قابلة للتفسير والنشر بالكامل. وتثبت النتائج أن هجمات QUIC المشفرة، والتي كان يُعتقد سابقاً استحالة كشفها على مستوى الحزمة، يمكن كشفها على مستوى التدفق باستخدام مراقبة الشبكة السلبية القياسية، دون الحاجة للفحص العميق للحزم، أو فك التشفير، أو أجهزة متخصصة. وتوفر مواصفات الكشف القائمة على عشر ميزات ومجموعتا البيانات المصنفتان أساساً للأعمال المستقبلية في تحليل حركة مرور QUIC المشفرة.

Download
COinS