Master's Thesis

Optimizing Machine Learning Approaches for Layer 7 DoS Attack Mitigation

Final Thesis 2.56 MB Appendix 7.93 MB

Author of thesis: Ing. Filip Banák

Acad. year: 2025/2026

Supervisor: Ing. Jiří Setinský

Reviewer: Ing. Martin Žádník, Ph.D.

Abstract:

This thesis takes available CESNET tools for detection and mitigation of DoS attacks and optimizes them to be better suited for application-level (layer 7) DoS attacks. Windower, a tool for detection of such attack with the ability to flag anomalous sources. And an n-grams based tool for driving rules describing malicious traffic. Both tools were modified to work with application-level data, such as web-service access logs. Additionally, capabilities of these tools were improved by extending them to integrate new sources of information into their computations or by designing new improved algorithms. Furthermore, a combination of these tools, balancing their advantages and disadvantages, was also proposed. Everything was implemented and evaluated on real-world datasets from Seznam.cz. The detection ability of the Windower has shown to be consistently improved. The results of our redesigned ngrams method showed promising results, with reasonable latency and resource consumption. The combination of methods creates a complete system, demonstrating reduced latency and resource consumption of the ngrams method, while keeping the same promising results.

Keywords:

DoS, autoencoder, ngram, n-gram, patterns, detection, mitigation, rules, application level, L7, combination

Date of defence

24.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Kdyby se vyskytly falešně pozitivní detekce, jak by bylo možné ovlivnit nebo upravit metody tak, aby nedetekovaly tyto falešně pozitivní výsledky?
  2. V jaké části sítě se očekává nasazení vašeho řešení?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Machine Learning (NMAL)

Composition of Committee

prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Vítězslav Beran, Ph.D. (místopředseda)
doc. Ing. Ondřej Lengál, Ph.D. (člen)
doc. Ing. František Zbořil, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Martin Fajčík, Ph.D. (člen)

Supervisor’s report
Ing. Jiří Setinský

Předložená diplomová práce podle mého názoru převyšuje standard běžných diplomových prací, a to jak kvalitou dosažených výsledků, tak jejich praktickou využitelností. Autor prokázal schopnost samostatně nastudovat problematiku detekce a mitigace aplikačních DoS útoků, navrhnout úpravy existujících metod, tyto úpravy implementovat a následně je vyhodnotit na reálných datech. Za zvlášť cenné považuji praktický dopad práce a skutečnost, že vznikala na základě reálných dat z útoků. S dosaženými výsledky jsem velmi spokojen a práci hodnotím známkou A. Současně ji navrhuji na cenu děkana.

Evaluation criteria Verbal classification
Information about assignment

Zadání hodnotím jako průměrně náročné. Cílem práce bylo optimalizovat existující nástroje CESNET pro detekci a mitigaci DoS útoků tak, aby byly lépe použitelné pro útoky na aplikační vrstvě a současně navrhnout a ověřit jejich kombinaci. Student se věnoval jak teoretickému rozboru problematiky, tak především návrhu, implementaci a experimentálnímu vyhodnocení navržených úprav na reálných datech společnosti Seznam.cz. Zadání považuji za splněné, protože práce zahrnuje úpravu obou zvolených metod, jejich implementaci i evaluaci dosažených výsledků.

Activity during solution, consultations, communication

V závěrečné fázi řešení bylo věnováno značné úsilí experimentům, ověřování různých variant vylepšení a dotažení výsledků do kvalitní podoby. Přestože na finální textovou stránku práce již nezbyl takový prostor jako na experimentální část, v textu byly řešeny pouze drobnější připomínky. Tuto skutečnost proto nepovažuji za zásadní nedostatek, který by snižoval celkovou kvalitu práce.

Publication activity, awards
Work with literature

Použitá literatura je k tématu relevantní, avšak vedle odborných zdrojů obsahuje ve větší míře také blogové a technicky orientované online materiály.

Activity during solution, consultations, communication

Student při řešení práce postupoval systematicky a po celou dobu pracoval zcela samostatně. Průběžné výsledky i další směřování práce byly pravidelně konzultovány na společných schůzkách, které probíhaly každý týden. Student vždy samostatně rozpracoval navržené podněty a experimenty a zpravidla je do další konzultace dovedl do finální podoby. Velmi pozitivně hodnotím také jeho přístup ke komunikaci a celkovou úroveň spolupráce.

Points proposed by supervisor: 95

Grade proposed by supervisor: A

Reviewer’s report
Ing. Martin Žádník, Ph.D.

Celkově má práce velmi vysokou úroveň od samotné analýzy dat a daného problému, návrhu metod, až po samotné experimenty.

Evaluation criteria Verbal classification Points Max. points
The extent to which the requirements of the assignment have been met

Evaluation level: assignment fulfilled, and the work contains significant extensions

Zadání navrhuje a rozebírá různé možnosti optimalizací a navrhuje úspěšnou kombinaci metod.

Extent of the technical report

Evaluation level: is within the usual extent

Presentation level of the technical report

Zpráva skvěle prezentuje práci studenta a je velmi dobře pochopitelná pro čtenáře například díky konkrétním příkladům nalezení řetězce.

100 100
Formal preparation of a technical report

Typografická úroveň je na vysoké úrovni, algoritmy jsou popsány pomocí pseudokódu, matematické zápisy jsou jasně popsány.

100 100
Work with literature

Student výborně pracuje s literaturou a vhodně ji používá pro svá rozhodnutí.

100 100
Realisation output

Realizační výstup je dobře navržen, implementován a umožnil provést řadu experimentů.

100 100
Usability of results

Práce přináší nové postupy a poznatky v oblasti mitigace DDoS útoků a má značný aplikační potenciál.

The difficulty of the assignment

Evaluation level: very difficult assignment

Obtížnost zadání převyšuje očekávanou obtížnost především v oblasti analýzy příčin selhání existujících metod a inovativních řešeních pro odstranění těchto příčin.

Topics for thesis defence:
  1. Kdyby se vyskytly falešně pozitivní detekce, jak by bylo možné ovlivnit nebo upravit metody tak, aby nedetekovaly tyto falešně pozitivní výsledky?
Points proposed by reviewer: 100

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová