Bachelor's Thesis

Automated Testing of IoT Edge Devices and its Integration into CI/CD

Final Thesis 5.41 MB

Author of thesis: Jan Šulák

Acad. year: 2025/2026

Supervisor: Ing. Jiří Hynek, Ph.D.

Reviewer: Ing. Juraj Lazúr

Abstract:

High reliability is critical for IoT edge devices. However, validating complex, multi-protocol interactions without hardware constraints remains challenging. This thesis presents the Integration Test Engine. It is an automated, channel-agnostic integration testing framework developed in cooperation with Logimic. The framework uses the Software-in-the-Loop (SiL) paradigm, leveraging advanced hardware mocking to simulate communication flows across MQTT, Modbus, and serial lines. No physical devices are required. The framework addresses the test oracle problem caused by non-deterministic IoT data streams. It uses a partial oracle. This oracle uses two-tier schema validation, successfully separating structural protocol compliance from test-specific semantic assertions. The solution is fully integrated into Logimic’s CI/CD infrastructure as an automated quality gate. It features a custom interactive reporting pipeline for targeted debugging. By enabling configuration-driven regression testing, this framework minimizes manual testing overhead, accelerates development cycles, and ensures secure, consistent deployments across volatile edge device networks.

Keywords:

IoT, Internet of Things, Edge computing, Integration Testing, MQTT, Modbus, Serial Communication, Automated Testing, Software-in-the-Loop, Hardware-in-the-Loop, Partial Oracle, Schema Validation, Gateway, Logimic, CI/CD

Date of defence

18.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. Proč jste práci řešil dva roky?
  2. Proč jste více nekonzultoval s vedoucím?

Language of thesis

English

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

doc. Dr. Ing. Dušan Kolář (předseda)
doc. Ing. Vladimír Janoušek, Ph.D. (místopředseda)
Ing. Radek Hranický, Ph.D. (člen)
Ing. Jiří Matoušek, Ph.D. (člen)
Ing. Zdeněk Materna, Ph.D. (člen)

Supervisor’s report
Ing. Jiří Hynek, Ph.D.

Student ke své práci přistupoval svědomitě. Pracoval na netriviálním tématu a vytvořil použitelné řešení, které je plně integrováno do CI/CD infrastruktury firmy Logimic. Výsledky byly publikovány na studentské konferenci Excel@FIT. Navrhuji hodnocení stupněm B.

Evaluation criteria Verbal classification
Informace k zadání

Zadání vzniklo ve spolupráci s firmou Logimic. Hlavními úkoly práce bylo navrhnout a implementovat framework pro automatizované integrační testování IoT edge zařízení, nezávislý na komunikačním kanálu. Student musel nastudovat problematiku IoT a edge computingu, integračního testování, protokolů MQTT, Modbus a sériové komunikace a paradigmatu Software-in-the-Loop. Framework pomocí simulace hardwaru komunikuje přes MQTT, Modbus a sériové linky bez nutnosti fyzických zařízení. Řešení je plně integrováno do CI/CD infrastruktury společnosti Logimic a obsahuje vlastní interaktivní výstupní zprávy využitelné pro ladění. Zadání hodnotím jako obtížnější a považuji ho za splněné.

Práce s literaturou

Student prostudoval doporučenou literaturu. Aktivně si vyhledával další zdroje týkající se zejména problematiky IoT, edge computingu, integračního testování, protokolů MQTT, Modbus a sériové komunikace, schématické validace a CI/CD.

Aktivita během řešení, konzultace, komunikace

Student řešil práci po dobu dvou akademických roků. Dokázal pracovat samostatně, konzultace probíhaly online s vedoucím práce a konzultantem firmy Logimic Ing. Ondřejem Šulcem. Řešení někdy postupovalo pomaleji, avšak nakonec bylo úspěšně dokončeno.

Aktivita při dokončování

Některé části technické zprávy byly dokončovány na poslední chvíli; na jejich kontrolu by bylo vhodné více času.

Publikační činnost, ocenění

Výsledky byly publikovány na studentské konferenci Excel@FIT 2026.

Points proposed by supervisor: 88

Grade proposed by supervisor: B

Reviewer’s report
Ing. Juraj Lazúr

Autor navrhol a implementoval funkčnú aplikáciu pre testovanie IoT Edge zariadení. Spolu s implementáciou navrhnutého nástroja do CI/CD študent automatizoval proces, ktorý vo výsledku prispeje k zrýchleniu a skvalitneniu vývoja v oblasti IoT zariadení v inteligentných mestách. Výsledný nástroj bol prezentovaný aj na konferencii Excel@FIT. Celkovo tak prácu hodnotím 85 bodmi.

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: průměrně obtížné zadání

Priemerne náročné zadanie.

Prezentační úroveň technické zprávy

Práca je logicky rozdelená, jednotlivé celky na seba naväzujú, kapitoly sú zrozumiteľné, ilustrácie sú prehľadné. Gramatika je na vysokej úrovni. V niektorých častiach práce by som ocenil redukciu predkladanej problematiky.

85
Formální úprava technické zprávy

Technická správa zodpovedá typografickému štandardu, obrázky, ako aj schémy sú zrozumiteľné a dobre popísané, prevažujú prehľadné vektorové schémy.

90
Realizační výstup

Výsledok práce je robustný a prakticky aplikovateľný v priemysle. Funkčnosť implementovaného nástroja bola demonštrovaná aj na konferencii Excel@FIT.

80
Využitelnost výsledků

Praktický výstup práce má potenciál zlepšiť a zrýchliť vývoj rôznych IoT zariadení v prostredí inteligentných miest. Využiteľnosť riešenia dokazuje aj nasadenie v praxi.

Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Študent splnil všetky body zadania.

Rozsah technické zprávy

Evaluation level: přesahuje obvyklé rozmezí

Rozsah technickej správy zodpovedá požiadavkám a je oproti normám rozsiahlejší.

Práce s literaturou

Práca vychádza zo širokého teoretického základu, zdroje sú vhodne vybrané a riadne ocitované.

90
Points proposed by reviewer: 85

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová