Bachelor's Thesis

Design of a gesture-based control system for ultrasonic robotic diagnostics

Author of thesis: Soňa Michalková

Acad. year: 2025/2026

Supervisor: doc. Ing. Zdeněk Bradáč, Ph.D.

Reviewer: Ing. Michal Husák

Abstract:

This bachelor thesis focuses on the design of a contactless control system for a robotic
ultrasonic diagnostic workstation using hand gestures. The motivation is to create a more natural form of interaction between the operator and the robot, reducing the need for physical control devices and supporting smoother operation in an industrial environment. The proposed solution uses the MediaPipe library for hand landmark extraction and a TemporalConvBiLSTM model for dynamic gesture classification. A custom set of seven gestures was created according to the movement and functional requirements of robotic ultrasonic diagnostics. The model was evaluated using the TRUE LOSO strategy and achieved a global accuracy of 96.64 %. Real-time testing confirmed the practical usability of the proposed system, achieving an accuracy of 94.90 % under daylight conditions.

Keywords:

AI, MediaPipe, XAI, Image Processing, Robotics, Industrial Automation, Hand Gesture Recognition

Date of defence

17.06.2026

Date of publish

16.06.2028

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Studentka obhájila bakalářskou práci. Komise neměla žádné námitky k řešené práci. V průběhu odborné rozpravy student odpověděl na dotazy týkající se bezpečnostních opatření potřebných pro nasazení do reálného provozu a způsobu ověření robustnosti systému v reálném provozu. Komise se studentkou diskutovala o možnostech zvýšení robustnosti v reálném provozu.

Language of thesis

Slovak

Faculty

Department

Study programme

Automation and Measurement (BPC-AMT)

Composition of Committee

doc. Ing. Zdeněk Slanina, Ph.D. (předseda)
doc. Ing. Zdeněk Bradáč, Ph.D. (místopředseda)
Ing. Karel Horák, Ph.D. (člen)
Ing. Stanislav Pikula, Ph.D. (člen)
Ing. Miloslav Richter, Ph.D. (člen)

Supervisor’s report
doc. Ing. Zdeněk Bradáč, Ph.D.

Úkolem studentky bylo navrhnout systém ovládání ultrazvukové robotické diagnostické buňky formou rozpoznání gest rukou. Studentka měla za úkol prostudovat současné možnosti a provést literární a internetový průzkum. Dále měla za úkol navrhnout metodiku rozpoznání gest rukou člověka pro účely interakce s robotickými systémy v průmyslu. Primárním cílem bylo definovat sadu gest pro ovládání robotizovaného ultrazvukového diagnostického systému. Nedílnou součástí byl návrh metod rozpoznání gest a jejich implementaci v praxi. Poslední částí práce bylo zhodnocení výsledků, jejich srovnání s existujícími přístupy a experimentální zhodnocený použitelnosti implementované metody. 
Studentka se na počátku práce zabývala nonverbální komunikací obecně. Popsala systém robotické ultrazvukové diagnostiky a seznámila se s konkrétním systémem. Následně se studentka věnovala současným přístupům k detekci gest pro řízení. Z těchto informací navrhnula systém na základě neuronových sítí s hlubokým učením. Systém detekce a rozpoznání gest následně propojila s robotickým systémem na bází robotu KUKA. Na konci práce studentka zpracovala hodnocení své implementace a porovnala dosažené výsledky s obdobnými přístupy.
Mohu konstatovat, že studentka pracovala aktivně a cílevědomě. Věnovala se bakalářské práci dostatečně a zpracovala ji ve velmi dobré kvalitě. Studentka splnila všechny body zadání a předložila velmi dobrou textovou dokumentaci. Na základě doložené bakalářské práce konstatuje, že autorka splnila všechny body zadání a navrhuji její práci k obhajobě. Points proposed by supervisor: 95

Grade proposed by supervisor: A

Reviewer’s report
Ing. Michal Husák

Bakalářská práce se zabývá návrhem systému bezdotykového ovládání robotického pracoviště ultrazvukové diagnostiky pomocí gest ruky.
Studentka v práci splnila hlavní body zadání. Seznámila se s problematikou Human-Robot Interaction, popsala současné přístupy k rozpoznávání gest a uvedla jak senzorové, tak kamerové metody. Dále popsala pracoviště robotické ultrazvukové diagnostiky a navrhla vlastní sadu sedmi gest, čímž splnila požadavek minimálně šesti gest. Práce obsahuje také praktickou implementaci, návrh komunikace s robotickým manipulátorem KUKA a experimentální ověření systému.
Za silnou stránku práce považuji především rešerši metod i existujících datasetů, vytvoření vlastního datasetu, použití vhodné validační metodiky TRUE LOSO.
Po formální stránce je práce přehledně členěná a obsahuje odpovídající teoretickou i praktickou část. Jazyková úroveň je dobrá, i když se místy objevují drobné formulační nedostatky. Práce s literaturou je dostatečná a zdroje jsou průběžně citovány. Za dílčí rezervu považuji zejména to, že bezpečnostní aspekty přímého ovládání robotu pomocí gest.
Celkově práce svědčí o schopnosti studentky samostatně řešit technický problém, propojit teoretické poznatky s praktickou implementací a výsledky experimentálně ověřit. Bakalářskou práci doporučuji k obhajobě a navrhuji hodnocení A – 92 bodů. Topics for thesis defence:
  1. 1. Jaká bezpečnostní opatření by bylo podle Vás nutné doplnit před nasazením takového systému do reálného průmyslového provozu, zejména s ohledem na chybnou nebo nejednoznačnou klasifikaci gesta?
  2. 2. Testování v reálném čase bylo provedeno za vybraných světelných podmínek. Jak byste dále ověřila robustnost systému v reálném provozu, například při změně pozadí, vzdálenosti od kamery, částečném zakrytí ruky nebo při použití ochranných pracovních pomůcek?
Points proposed by reviewer: 92

Grade proposed by reviewer: A

Reasons for publication postponement

Publication of the final thesis has been postponed in compliance with the provisions of Section 47b (4) of Act No. 111/1998 Coll., on the Higher Education Institutions and on amendments and supplements to other acts, as amended.

The thesis contains the results that will be the subject of the publication.

Responsibility: Mgr. et Mgr. Hana Odstrčilová