Master's Thesis

Time Series Forecasting Using Maching Learning for Network Communication

Final Thesis 1.92 MB

Author of thesis: Ing. Aleš Kašpárek

Acad. year: 2023/2024

Supervisor: doc. Ing. Petr Matoušek, Ph.D., M.A.

Reviewer: Ing. Ivana Burgetová, Ph.D.

Abstract:

This master thesis examines the complex world of network communication systems, which require advanced forecasting methods to run efficiently, reliably, and safely. With networks becoming more complex, accurately predicting network conditions and traffic is critical for planning, resource management, detecting unusual activity, and improving systems.
 
The thesis commences by introducing the concept of time series data, laying the foundation for understanding the temporal dynamics within network systems. It progresses by presenting an array of analytical tools and techniques for dissecting this kind of data, with a particular focus on traditional statistical methods. Among these, the Moving Average (MA), Auto Regressive (AR) and Auto Regresive Integrated Moving Average (ARIMA) models are given special attention for its established capabilities in forecasting.
 
The shift from traditional forecasting to the use of machine learning (ML) is central to this thesis. It investigates several machine learning (ML) approaches, such as Long Short-Term Memory (LSTM) networks, convolutional neural networks (CNNs), to demonstrate how they can identify the complex patterns in network traffic.

Keywords:

time series, machine learning, forecast, convolutional
neural networks, Long Short-Term Memory, ARIMA

Date of defence

18.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. Při volbě parametrů MA modelu používáte hodnotu 52 až z konce ploché části křivky (obrázek 5.1). Nestačila by pro dosažení podobné přesnosti nižší hodnota, která by byla blíže místu zploštění křivky?
  2. Očekáváte v časových řadách periodicitu některých trendů?
  3. Jak přesně je rozdělen dataset na trénovací a testovací data?
  4. Máte představu, jak se zhoršuje přesnost předpovědi vzhledem ke zvětšujícímu se časovému intervalu do budoucna?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Machine Learning (NMAL)

Composition of Committee

prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Lukáš Burget, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)
prof. Ing. Lukáš Sekanina, Ph.D. (člen)

Práce přináší zajímavé a podrobné výsledky z testování různých predikčních metod aplikovaných na reálná data. Vzhledem k úrovni práce i dosaženým výsledkům navrhuji hodnocení A, 95 bodů.

Evaluation criteria Verbal classification
Informace k zadání

Jednalo se o firemní zadání od firmy AT&T, kde tématem práce bylo  zkoumání modelů strojového učení pro predikci časových řad. Cílem práce bylo ověřit, které modely jsou vhodné pro detekci anomálií při monitorování stavu síťových zařízení, kdy monitorovaná data mají charakter časových řad. Student  se zaměřil na klasické metody pro modelování časových řad (Moving Average, Autoregrese, model ARIMA) a dále zkoumal použití konvolučních a rekurentních neuronových sítí (CNN, GRU, LSTM). U neuronových sítí student také zkoumal vliv parametrů modelů na přesnost výsledků.

Zadání bylo splněna a rozšířeno o metody neuronových sítí, které nebyly v původním zadání.

Aktivita při dokončování

Práce byla dokončena včas a výsledná podoba konzultována s vedoucím.

Publikační činnost, ocenění

Práce nebyla publikována.

Práce s literaturou

Student využíval při řešení doporučenou literaturu i vlastní zdroje.

Aktivita během řešení, konzultace, komunikace

Student byl během řešení aktivní, pravidelně docházel na konzultace, kde diskutoval navržené řešení.

Points proposed by supervisor: 95

Grade proposed by supervisor: A

Reviewer’s report
Ing. Ivana Burgetová, Ph.D.

Předloženou diplomovou práci hodnotím mírně nadprůměrně (stupněm B) díky neobvykle přesným výsledkům predikce, kterých student dosáhl.

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Prezentační úroveň technické zprávy

Předložená technická zpráva je psána velmi stručným způsobem a místy zde chybí podstatné informace. Nejdůležitější chybějící informací je způsob rozdělení dat na trénovací a testovací (případně i validační) část. Z textu není jasné, na jak velkém časovém úseku byly použité metody trénovány a testovány. Podrobnější  informace k tomu, jak byly laděny parametry jednotlivých modelů, bych také uvítala.

70
Formální úprava technické zprávy

Po jazykové stránce se jedná o průměrnou práci. K typografické stránce mám dvě připomínky: nečitelné popisky grafu 5.1 a často se vyskytují dva nadpisy bezprostředně pod sebou, případně obrázek přímo pod nadpisem.

74
Práce s literaturou

Práci s literaturou hodnotím jako nejslabší část této diplomové práce. U diplomové práce bych čekala větší využití odborných článků z oblasti predikce časových řad. Převzaté prvky jsou řádně odlišeny od vlastních výsledků a úvah.

69
Realizační výstup

V rámci této diplomové student implementoval několik jupyter notebooků, které slouží k trénování a testování různých modelů pro predikci vývoje zvolené časové řady. Notebooky obsahují také části (včetně grafů) nezbytné pro volbu vhodných parametrů použitých modelů. I když realizační výstup této práce není příliš rozsáhlý, navrhuji nadstandardní hodnocení díky neobvykle dobré přesnosti natrénovaných modelů.

90
Využitelnost výsledků

Modely pro predikci řad typicky nelze přímo (včetně parametrů) použít pro různé časové řady. Nicméně postup volby parametrů, který student využil, se jeví jako velmi dobrý, protože při predikci bylo dosaženo velmi dobrých výsledků.

Náročnost zadání

Evaluation level: průměrně obtížné zadání

Topics for thesis defence:
  1. Při volbě parametrů MA modelu používáte hodnotu 52 až z konce ploché části křivky (obrázek 5.1). Nestačila by pro dosažení podobné přesnosti nižší hodnota, která by byla blíže místu zploštění křivky?
Points proposed by reviewer: 82

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová