Master's Thesis

Detekce anomálií v lozích prostřednictvím analýzy časových řad

Final Thesis 1.99 MB

Author of thesis: Ing. Jakub Magda

Acad. year: 2025/2026

Supervisor: Ing. Jiří Setinský

Reviewer: Ing. Martin Žádník, Ph.D.

Abstract:

This thesis presents the design and implementation of a system for anomaly detection in system logs through time series analysis. The system combines two complementary approaches: template-based time series counting occurrences of log message types in time windows, and metric-based time series extracting numerical values from message content. Seven detection methods are applied to the resulting series, including statistical approaches, Prophet and ARIMA models, and machine learning methods. The system was deployed in the production environment of CESNET and evaluated on real historical data spanning thirteen months of operation. Experiments confirmed that combining both types of time series is essential: several anomalies were detectable exclusively in metric-based series.

Keywords:

System logs, anomaly detection, time series, log parsing, Drain algorithm, time series analysis, machine learning, ARIMA, Prophet, Isolation Forest

Date of defence

22.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. V případě, že systém hlásí falešně pozitivní výsledky v několika detektorech a uživatel nemá zájem o tato hlášení. Co je potřeba udělat pro zamezení jejich opětovného hlášení?
  2. Jak nastavujete práh pro detekci?

Language of thesis

Slovak

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Machine Learning (NMAL)

Composition of Committee

prof. Dr. Ing. Jan Černocký (předseda)
prof. Ing. Martin Čadík, Ph.D. (místopředseda)
doc. Ing. Vladimír Janoušek, Ph.D. (člen)
doc. Ing. Michal Bidlo, Ph.D. (člen)
doc. Ing. František Zbořil, Ph.D. (člen)
Ing. Petr Veigend, Ph.D. (člen)

Supervisor’s report
Ing. Jiří Setinský

Práci hodnotím celkově pozitivně. Student splnil zadání a zpracoval aktuální téma detekce anomálií z logů pomocí analýzy časových řad. Práce zahrnuje teoretickou část, vlastní návrh a implementaci systému i jeho ověření na reálných datech. Oceňuji zejména praktické zaměření práce, rozsah implementace a skutečnost, že navržené řešení bylo ověřeno v reálném prostředí CESNETu a kombinuje více přístupů k detekci anomálií. Komunikace během řešení byla průběžná a účelná, byť textová podoba práce nebyla konzultována podrobněji. Student všechny připomínky zapracoval a práci odevzdal v termínu. Navrhuji celkové hodnocení B.

Evaluation criteria Verbal classification
Information about assignment

Zadání hodnotím jako průměrně náročné. Cílem práce bylo navrhnout a implementovat systém pro detekci anomálií ze systémových logů pomocí analýzy časových řad, a to s využitím jak šablonových, tak metrických reprezentací logů. Student zpracoval teorii, navrhl architekturu systému, realizoval praktickou implementaci a provedl experimentální ověření na reálných produkčních datech i na veřejném datasetu. Splnil všechny body zadání.

Activity during solution, consultations, communication

V závěrečné fázi student výrazně zvýšil svou aktivitu, práci odevzdal v termínu a zapracoval všechny připomínky. Z časových důvodů však již nebyl prostor pro širší zpětnou vazbu k finální verzi.

Publication activity, awards
Work with literature

Práce vychází z relevantních zdrojů k analýze logů, časovým řadám a detekci anomálií. Nastudovaná literatura je v práci využita věcně a přímo podporuje návrh i implementaci řešení.

Activity during solution, consultations, communication

Student během řešení průběžně informoval o postupu práce a konzultoval konkrétní body související s prací. Textová podoba práce sice nebyla řešena tak podrobně, ale komunikace fungovala dobře a byla účelná.

Points proposed by supervisor: 88

Grade proposed by supervisor: B

Reviewer’s report
Ing. Martin Žádník, Ph.D.

Student samostatně nastudoval, navrhl a implementoval analýzu logů pomocí časových řad a dosáhl zajímavých poznatků při experimentech na reálných datových sadách. Tyto poznatky budou sloužit jako podklad pro další výzkum analýzy logů.

Evaluation criteria Verbal classification Points Max. points
The extent to which the requirements of the assignment have been met

Evaluation level: assignment fulfilled

Zadání bylo splněno. Byl navržen a implementován mechanismus pro převod logů do dvou kategorií časových řad včetně metod detekce anomálií v těchto časových řadách.

Extent of the technical report

Evaluation level: is within the usual extent

Práce má očekávaný rozsah.

Presentation level of the technical report

Prezentační úroveň je dobrá. Pro lepší hodnocení by mohly být některé části (např. vysvětlení pohledů A a B) lépe rozpracovány.

85 100
Formal preparation of a technical report

Typograficky je práce v pořádku.

90 100
Work with literature

V kapitolách 2.4.2, 2.4.3, 2.4.4 mi chybí citace na dosavadní přístupy (např. jak se vyrovnat s chybějícími hodnotami), v ostatních částech práce student správně cituje relevantní zdroje.

80 100
Realisation output

Realizační výstup hodnotím pozitivně. Student naimplementoval předzpracování logů do časových řad, nad kterými aplikoval 7 různých detekčních metod. 

90 100
Usability of results

Získané poznatky a případně i dílčí výstupy bude možné dále využít v praxi pro detekci anomálií nad logy.

The difficulty of the assignment

Evaluation level: more difficult assignment

Zadání bylo náročnějšího charakteru, neboť vyžadovalo nastudovat celou doménu zpracování logů zároveň s doménou analýzy časových řad.

Topics for thesis defence:
  1. V případě, že systém hlásí falešně pozitivní výsledky v několika detektorech a uživatel nemá zájem o tato hlášení. Co je potřeba udělat pro zamezení jejich opětovného hlášení?
Points proposed by reviewer: 90

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová