Bachelor's Thesis

Performance analysis and anomaly detection tool for the RHTAS system

Final Thesis 1.36 MB Appendix 4.47 MB

Author of thesis: Kristián Da Costa Menezes

Acad. year: 2025/2026

Supervisor: doc. Mgr. Kamil Malinka, Ph.D.

Reviewer: Ing. Zbyněk Lička

Abstract:

This bachelor’s thesis focuses on the security and reliability of the Red Hat Trusted Artifact Signer (RHTAS) system. The main objective is to design and implement an analytical tool capable of detecting performance anomalies in real-time and distinguishing between common technical failures and targeted security attacks (e.g., DoS). The solution utilizes a data pipeline connected to Prometheus for metrics collection. The thesis compares the effectiveness of two implemented detection methods: a statistical approach and a machine learning model. The results are evaluated within an OpenShift experimental environment using simulated load and attack scenarios.

Keywords:

RHTAS, anomaly detection, machine learning, security, microservices, Prometheus

Date of defence

18.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. Co by se změnilo v produkčním prostředí? Jak by se změnil výběr rysů pro detekci anomálií, případně jejich výpočet? Co by se muselo doimplementovat, aby navržené řešení fungovalo v takovém prostředí?
  2. Jaká je latence detekční pipeline v reálném čase?
  3. Proč je v některých případech úspěšnost detekce tak nízká? Byla trénovací množina reprezentativní?

Language of thesis

English

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

doc. Ing. Petr Matoušek, Ph.D., M.A. (předseda)
doc. Ing. Michal Bidlo, Ph.D. (místopředseda)
Ing. Radek Kočí, Ph.D. (člen)
Ing. Jan Pluskal, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)

Supervisor’s report
doc. Mgr. Kamil Malinka, Ph.D.

Při celkovém hodnocení nejvíce zohledňuji vysokou míru kvality zpracování realizačního výstupu a vysokou samostatnost studenta. Student splnil všechny body zadání ve velmi dobré kvalitě. Při řešení práce postupoval systematicky a velmi dobře si poradil s technickými překážkami. Práce byla po celou dobu pravidelně konzultována, kvalita textu je na výborné úrovni. Pozitivně hodnotím zpracování práce v angličtině.

Evaluation criteria Verbal classification
Informace k zadání

Jedná se o průměrně obtížnou implementační práci. Práce reaguje na nedostatky systému RHTAS a rozšiřuje jej o detekci anomálií pomocí dvou metod. Vedle vlastní implementace student provedl ověření chování na vytvořeném testovacím prostředí a provedl řadu experimentů. Práce splnila všechny body ve velmi dobré kvalitě. Student věnoval řešení velkou péči. Ačkoliv výsledky mají své limity dané omezenou dostupností provozních dat, student dobře diskutuje budoucí rozšíření a jak limity mitigovat.

Práce s literaturou

Student aktivně vyhledával relevantní dostupnou literaturu a vhodně ji začlenil do své práce. 

Aktivita během řešení, konzultace, komunikace

Po celou dobu řešení jsme měli pravidelné schůzky, na kterých byly konzultovány dílčí kroky řešení a celkový směr práce. Student byl vždy výborně připraven. Student taky práci aktivně a průběžně řešil s konzultantem ze strany RedHat.

Aktivita při dokončování

Student obsah práce konzultoval průběžně a její definitivní obsah mi byl zaslán k připomínkování v dostatečném předstihu. Stihli jsme více iterací. Všechny mé připomínky k práci byly zapracovány.

Publikační činnost, ocenění

Student se přihlásil do soutěže Excel@FIT, bohužel nebyl vybrán mezi vystavovatele.

Points proposed by supervisor: 91

Grade proposed by supervisor: A

Reviewer’s report
Ing. Zbyněk Lička

Práci považuji za velmi kvalitní. Návrh a analýza řešené problematiky jsou zpracovány důkladně a student vhodně zdůvodňuje volbu metod, metrik i celkového přístupu. Pozitivně hodnotím zejména důraz na interpretovatelnost detekce, která umožňuje lépe identifikovat možný původ anomálie.


Hlavní omezení práce spočívá v experimentálním ověření výsledného systému. Navržené detektory v některých případech produkují značné množství falešně pozitivních detekcí, což výrazně omezuje jejich praktické využití. Systém zároveň nebyl ověřen v produkčním prostředí a byl trénován na nereprezentativním množství dat. I přes tato omezení práce ukazuje, že navržený systém je v experimentech často schopen správně identifikovat původní příčinu anomálie.

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: průměrně obtížné zadání

Zadání považuji za průměrně obtížné. Pokrývá standardní aktivity odpovídající tomuto typu práce, zejména analýzu problému, návrh řešení, implementaci a experimentální ověření. Analýza řešené problematiky mohla být mírně složitější vzhledem k povaze detekce anomálního chování a nutnosti porozumět vlastnostem sledovaného systému.

Prezentační úroveň technické zprávy

Technická zpráva obsahuje všechny podstatné části. V práci jsou vhodně formulovány požadavky na výběr metod a student na jejich základě volí odpovídající přístupy. Pozitivně lze hodnotit také sumarizaci problémů na konci kapitol, která pomáhá zpřehlednit diskutovanou problematiku.

Slabší stránkou prezentační úrovně je zejména srozumitelnost úvodních technických částí. Ve druhé kapitole chybí bližší základní popis fungování systému. Text přechází od vysokoúrovňového popisu komponent přímo k workflow a komunikaci mezi nimi. U klíčových obrázků by byl vhodný podrobnější komentář a explicitnější vysvětlení, co je mezi komponentami posíláno a z jakého důvodu. Text je místy obtížnější na pochopení, protože význam některých částí je čtenáři objasněn až později, nikoli v okamžiku, kdy jsou dané informace poprvé prezentovány.

92
Formální úprava technické zprávy

Formální úprava práce je celkově výborná, avšak práce obsahuje dílčí nedostatek. Za problematické považuji nevhodné formátování v části přibližně na stranách 30-32. Tyto nedostatky snižují přehlednost dané části textu, i když zásadně nebrání pochopení obsahu práce.

85
Realizační výstup

Realizační výstup zahrnuje návrh a implementaci systému pro detekci anomálního chování interních systémů. Student důkladně identifikoval požadavky na systém, zdůvodnil, proč nebyla použita existující řešení, a popsal výběr metrik na základě analýzy systému a existující metodologie. Součástí návrhu je také způsob modelování časových závislostí.

Za přínosné považuji přidání interpretovatelnosti detekce, která nebyla součástí zadání. Student navrhl a implementoval čtyři kategorie příčin pro interpretovatelnost a implementace je rozšiřitelná. Kód je vhodně strukturovaný a odevzdané soubory obsahují vše potřebné pro reprodukci řešení. Pro implementaci detektoru a zpracování dat byly použity existující knihovny, přičemž jejich použití je v souladu s licenčními podmínkami.

Navržený systém však není připraven pro skutečné produkční nasazení. Testovací prostředí bylo pro účely experimentů zjednodušené a plně nereprezentuje produkční prostředí. Doba sběru trénovacích dat činila pouze 70 minut, což neumožňuje posoudit chování systému v různých provozních podmínkách, například v noci, o svátcích nebo při dlouhodobějších změnách zatížení. Systém byl otestován pouze na čtyřech typech anomálií a pro splnění zadání bylo odzkoušeno jen minimální množství přístupů.

80
Využitelnost výsledků

Implementace detektoru je vhodná jako základ pro další rozšíření. Textová část práce vhodně kompiluje informace o fungování systému s analýzou problematiky a požadavků. Výsledný systém zatím nelze považovat za připravený pro přímé produkční nasazení, zejména kvůli omezenému rozsahu datové sady a experimentální validace, ale představuje použitelný základ pro další vývoj a ověření v realističtějších podmínkách.

Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Zadání práce bylo splněno v požadovaném rozsahu. Student naplnil všechny body zadání, aniž by řešení výrazně rozšiřoval nad jeho rámec. Práce obsahuje analýzu současného stavu, návrh systému pro detekci anomálního chování interních systémů, implementaci detektorů, experimentální vyhodnocení i diskusi dosažených výsledků.

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Rozsah technické zprávy odpovídá obvyklému rozsahu diplomové práce. Text obsahuje relevantní části potřebné pro pochopení řešené problematiky, návrhu, implementace i experimentálního vyhodnocení.

Práce s literaturou

Práce s literaturou je na dobré úrovni. Student využil relevantní odbornou literaturu pro oblast detekce anomálií a dále technickou dokumentaci a standardy pro popis analyzovaného systému a metodologii volby rysů. Použité zdroje jsou vhodné, aktuální a odpovídají řešenému tématu. Citace jsou uváděny v souladu s citačními normami a jejich počet je přiměřený rozsahu práce.

Pozitivně hodnotím, že výběr metrik i metod není proveden pouze intuitivně, ale je opřen o existující literaturu a analýzu konkrétního systému. V textu práce jsou rovněž vhodně shrnuty problémy řešené oblasti, zejména v závěru analytické části.

100
Topics for thesis defence:
  1. Jaká je latence detekční pipeline v reálném čase?
  2. Co by se změnilo v produkčním prostředí? Jak by se změnil výběr rysů pro detekci anomálií, případně jejich výpočet? Co by se muselo doimplementovat, aby navržené řešení fungovalo v takovém prostředí?
Points proposed by reviewer: 89

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová