Bachelor's Thesis

Automated Testing of IoT Edge Devices and its Integration into CI/CD

Final Thesis 5.41 MB

Author of thesis: Bc. Jan Šulák

Acad. year: 2025/2026

Supervisor: Ing. Jiří Hynek, Ph.D.

Reviewer: Ing. Juraj Lazúr

Abstract:

High reliability is critical for IoT edge devices. However, validating complex, multi-protocol interactions without hardware constraints remains challenging. This thesis presents the Integration Test Engine. It is an automated, channel-agnostic integration testing framework developed in cooperation with Logimic. The framework uses the Software-in-the-Loop (SiL) paradigm, leveraging advanced hardware mocking to simulate communication flows across MQTT, Modbus, and serial lines. No physical devices are required. The framework addresses the test oracle problem caused by non-deterministic IoT data streams. It uses a partial oracle. This oracle uses two-tier schema validation, successfully separating structural protocol compliance from test-specific semantic assertions. The solution is fully integrated into Logimic’s CI/CD infrastructure as an automated quality gate. It features a custom interactive reporting pipeline for targeted debugging. By enabling configuration-driven regression testing, this framework minimizes manual testing overhead, accelerates development cycles, and ensures secure, consistent deployments across volatile edge device networks.

Keywords:

IoT, Internet of Things, Edge computing, Integration Testing, MQTT, Modbus, Serial Communication, Automated Testing, Software-in-the-Loop, Hardware-in-the-Loop, Partial Oracle, Schema Validation, Gateway, Logimic, CI/CD

Date of defence

18.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. Proč jste práci řešil dva roky?
  2. Proč jste více nekonzultoval s vedoucím?

Language of thesis

English

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

doc. Dr. Ing. Dušan Kolář (předseda)
doc. Ing. Vladimír Janoušek, Ph.D. (místopředseda)
Ing. Radek Hranický, Ph.D. (člen)
Ing. Jiří Matoušek, Ph.D. (člen)
Ing. Zdeněk Materna, Ph.D. (člen)

Supervisor’s report
Ing. Jiří Hynek, Ph.D.

Student ke své práci přistupoval svědomitě. Pracoval na netriviálním tématu a vytvořil použitelné řešení, které je plně integrováno do CI/CD infrastruktury firmy Logimic. Výsledky byly publikovány na studentské konferenci Excel@FIT. Navrhuji hodnocení stupněm B.

Evaluation criteria Verbal classification
Information about assignment

Zadání vzniklo ve spolupráci s firmou Logimic. Hlavními úkoly práce bylo navrhnout a implementovat framework pro automatizované integrační testování IoT edge zařízení, nezávislý na komunikačním kanálu. Student musel nastudovat problematiku IoT a edge computingu, integračního testování, protokolů MQTT, Modbus a sériové komunikace a paradigmatu Software-in-the-Loop. Framework pomocí simulace hardwaru komunikuje přes MQTT, Modbus a sériové linky bez nutnosti fyzických zařízení. Řešení je plně integrováno do CI/CD infrastruktury společnosti Logimic a obsahuje vlastní interaktivní výstupní zprávy využitelné pro ladění. Zadání hodnotím jako obtížnější a považuji ho za splněné.

Work with literature

Student prostudoval doporučenou literaturu. Aktivně si vyhledával další zdroje týkající se zejména problematiky IoT, edge computingu, integračního testování, protokolů MQTT, Modbus a sériové komunikace, schématické validace a CI/CD.

Activity during solution, consultations, communication

Student řešil práci po dobu dvou akademických roků. Dokázal pracovat samostatně, konzultace probíhaly online s vedoucím práce a konzultantem firmy Logimic Ing. Ondřejem Šulcem. Řešení někdy postupovalo pomaleji, avšak nakonec bylo úspěšně dokončeno.

Activity during completion

Některé části technické zprávy byly dokončovány na poslední chvíli; na jejich kontrolu by bylo vhodné více času.

Publication activity, awards

Výsledky byly publikovány na studentské konferenci Excel@FIT 2026.

Points proposed by supervisor: 88

Grade proposed by supervisor: B

Reviewer’s report
Ing. Juraj Lazúr

Autor navrhol a implementoval funkčnú aplikáciu pre testovanie IoT Edge zariadení. Spolu s implementáciou navrhnutého nástroja do CI/CD študent automatizoval proces, ktorý vo výsledku prispeje k zrýchleniu a skvalitneniu vývoja v oblasti IoT zariadení v inteligentných mestách. Výsledný nástroj bol prezentovaný aj na konferencii Excel@FIT. Celkovo tak prácu hodnotím 85 bodmi.

Evaluation criteria Verbal classification Points
The difficulty of the assignment

Evaluation level: moderately difficult assignment

Priemerne náročné zadanie.

Presentation level of the technical report

Práca je logicky rozdelená, jednotlivé celky na seba naväzujú, kapitoly sú zrozumiteľné, ilustrácie sú prehľadné. Gramatika je na vysokej úrovni. V niektorých častiach práce by som ocenil redukciu predkladanej problematiky.

85
Formal preparation of a technical report

Technická správa zodpovedá typografickému štandardu, obrázky, ako aj schémy sú zrozumiteľné a dobre popísané, prevažujú prehľadné vektorové schémy.

90
Realisation output

Výsledok práce je robustný a prakticky aplikovateľný v priemysle. Funkčnosť implementovaného nástroja bola demonštrovaná aj na konferencii Excel@FIT.

80
Usability of results

Praktický výstup práce má potenciál zlepšiť a zrýchliť vývoj rôznych IoT zariadení v prostredí inteligentných miest. Využiteľnosť riešenia dokazuje aj nasadenie v praxi.

The extent to which the requirements of the assignment have been met

Evaluation level: assignment fulfilled

Študent splnil všetky body zadania.

Extent of the technical report

Evaluation level: exceeds the usual extent

Rozsah technickej správy zodpovedá požiadavkám a je oproti normám rozsiahlejší.

Work with literature

Práca vychádza zo širokého teoretického základu, zdroje sú vhodne vybrané a riadne ocitované.

90
Points proposed by reviewer: 85

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová