Master's Thesis

Clod Computing System for Real-time Data Processing

Final Thesis 2.49 MB

Author of thesis: Ing. Daša Nosková

Acad. year: 2023/2024

Supervisor: RNDr. Marek Rychlý, Ph.D.

Reviewer: Ing. Kamil Jeřábek, Ph.D.

Abstract:

This thesis focuses on designing a system for processing a large stream of geo-localized temporal data in real-time. The theoretical part addresses concepts and tools for real-time data processing and characteristics of real-time systems. The thesis introduces the design and architecture of a scalable system that utilizes message queues. Furthermore, the main concepts of implementation of the proposed system are outlined, using technologies emphasizing fast response times. As part of the work, a scalable system capable of processing a large data stream was developed.

Keywords:

real-time processing, cloud computing, scaling, micro services, stream processing, data processing, message queue, scalable architecture, apache kafka, apache flink

Date of defence

19.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Jaké je využití systému v praxi?
  2. Je ztráta dat v řešení akceptovatelná? Co to znamená z hlediska funkčnosti systému?

Language of thesis

Slovak

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Software Engineering (NSEN)

Composition of Committee

doc. Ing. Ondřej Ryšavý, Ph.D. (předseda)
doc. RNDr. Jitka Kreslíková, CSc. (člen)
doc. Ing. Vladimír Janoušek, Ph.D. (člen)
Ing. Vladimír Bartík, Ph.D. (člen)
Ing. Šárka Květoňová, Ph.D. (člen)
Ing. Radek Hranický, Ph.D. (člen)

Supervisor’s report
RNDr. Marek Rychlý, Ph.D.

Vzhledem k příkladnému přístupu studentky k řešení práce navrhuji hodnocení výborně (A).

Evaluation criteria Verbal classification
Informace k zadání

Cílem práce bylo navrhnout v prostředí cloud-computing architekturu a implementovat prototyp systému pro rychlé zpracování proudu geo-lokalizovaných temporálních dat. Konkrétní požadavky vycházely z potřeb průmyslového partnera a celý systém byl poměrně rozsáhlý a složitý, takže lze, z pohledu vedoucího, hodnotit zadání jako obtížnější. Zadání považuji za splněné.

Aktivita při dokončování

Práce byla dokončena s předstihem a její výsledná podoba byla konzultována.

Publikační činnost, ocenění

Bez publikací či ocenění, avšak s publikačním potenciálem. Výsledky byly zveřejněny jako open-source.

Práce s literaturou

Studentka samostatně vyhledala a nastudovala větší množství relevantní literatury.

Aktivita během řešení, konzultace, komunikace

V průběhu řešení byla studentka velmi aktivní, pracovala se zájmem, průběžně a svědomitě. Technické aspekty řešení byly také často a úspěšně konzultovány s průmyslovým partnerem. Oceňuji důkladný přístup k řešení.

Points proposed by supervisor: 95

Grade proposed by supervisor: A

Reviewer’s report
Ing. Kamil Jeřábek, Ph.D.

Jedná se o obtížnější zadání, kde studentka demonstrovala schopnosti nastudovat, navrhnout a implementovat systém pro zpracování dat. Práce byla vedena v kooperaci s firmou GINA Software a má praktické využití. Zástupce firmy hodnotí práci velmi pozitivně. Technické řešení je kvalitní, bylo podrobeno řadě testů a byla identifikována slabá místa. Práce sice nedosáhla ideálního zadaného stavu, ale velmi se mu v rámci dostupných podmínek přiblížíla. Práci hodnotím velmi pozitivně a navrhuji známku A.

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Zadání bylo splněno.

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Technická zpráva se pohybuje okolo dolní hranice obvyklého rozmezí.

Prezentační úroveň technické zprávy

Prezentační úroveň technické zprávy je kvalitní. Práce je čtivá a jednoduše pochopitelná. Jednotlivé kapitoly na sebe logicky navazují. Rozsahy jsou dostatečné, čtenáři jsou vhodným způsobem poskytnuty všechny potřebné informace bez nadbytečných informací.

95
Formální úprava technické zprávy

Práce obsahuje drobné typografické chyby. Práce je psána ve slovenském jazyce a nejsem schopen posoudit její gramatickou korektnost. Neměl jsem však problém s jejím porozuměním a jazyková stránka se jeví být korektní.

95
Práce s literaturou

Citované studijní prameny jsou relevantní a odborné. Práce obsahuje pouze nezbytné citované online zdroje, které jsou relevantní.

95
Realizační výstup

Realizační výstup je kvalitní. Studentka demonstrovala funkčnost řešení a zodpověděla všechny dotazy. Systém byl podroben poměrně velkému množství relevantního testování dokonce v kombinaci různých prostředí a byly vyvozenyny závěry a určena slabá místa. Toto vše dokládá textová část. Výstup je praktický a je možné jej vylepšit a použít v praxi.

90
Využitelnost výsledků

Výsledek práce je hodnocen velmi kladně reprezentantem společnosti GINA Software v jejíž spolupráci byla práce vedena. Práce je uplatnitelná v praxi.

Náročnost zadání

Evaluation level: obtížnější zadání

Jendá se o obtížnější zadání, studentka musela prozkoumat různé dostupné technologie, posoudit jejich použitelnost pro řešený problém, navrhnout architekturu celého řešení a řešení nakonfigurovat a implementovat.

Points proposed by reviewer: 94

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová