Bachelor's Thesis

Implementing gesture recognition on ARM as an alternative to traditional device control

Final Thesis 4.34 MB

Author of thesis: Bc. Richard Gajdošík

Acad. year: 2023/2024

Supervisor: Ing. Radek Kočí, Ph.D.

Reviewer: doc. Ing. František Zbořil, Ph.D.

Abstract:

This bachelor's thesis focuses on the development and implementation of a gesture recognition system on ARM architecture, utilizing the i.MX 93 board and TensorFlow Lite. The project is grounded in the application of neural networks for the recognition of hand gestures, offering an alternative to traditional device control methods. An integral part of the work involves a comprehensive analysis of existing gesture recognition solutions, identifying their strengths and potential improvements. The thesis elaborates on the design, development, and optimization of a real-time gesture recognition model specifically for ARM chips, emphasizing efficiency and performance. Additionally, the thesis covers the creation of a demonstrative application that visually represents recognized gestures. User testing is conducted to evaluate the practicality and user experience of the gesture recognition system, providing valuable feedback for future enhancements.

Keywords:

i.MX 93, TensorFlow Lite, Machine Learning, Gesture Recognition, Embedded Systems, ARM Architecture, Deep Learning, Neural Networks, Image Processing, Real-time Inference

Date of defence

12.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. Na základě čeho jste zvolil právě systémy MobileNetV2’s a Efficient Det?
  2. Jakých výsledků a úspěšností dosahuje navržený systém?
  3. Jak probíhala evaluace a jak se počítaly jednotlivé metriky?
  4. Jaké prostředky byly použity pro vývoj nástroje?

Language of thesis

English

Faculty

Fakulta informačních technologií

Department

Department of Intelligent Systems

Study programme

Information Technology (BIT)

Composition of Committee

doc. Ing. Lukáš Burget, Ph.D. (předseda)
Ing. Radek Kočí, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Jiří Hynek, Ph.D. (člen)
Ing. Lukáš Kekely, Ph.D. (člen)

Supervisor’s report
Ing. Radek Kočí, Ph.D.

Student odvedl velmi dobrou práci, během řešení komunikoval a konzultoval problémy. Prokázal schopnost samostatné práce.


Přikládám vyjádření odborného konzultanta: Student byl při vypracovávání své závěrečné práce zaměřený na výsledek a vždy zapracoval, co jsme mu poradili a na čem jsme se dohodli. Když se objevila překážka, snažil se ihned prozkoumat několik možných variant, jak se posunout dále. Nakonec úspěšně vytvořil samostatně fungující embedded aplikaci, kterou bude možné využívat i v dalších komplexnějších řešeních. Plánujeme další spolupráci na těchto konkrétních řešeních.

Evaluation criteria Verbal classification
Informace k zadání

Téma práce byla vypsána společně s firmou NXP. Cílem bylo demonstrovat možnosti ARM čipů v aplikacích, která využívají gesta pro ovládání. Náročnost zadání spočívá především v experimentech, které je nutné provést pro úspěšné řešení. Zadání bylo studentem splněno.
Práce s literaturou

Student využil doporučenou literaturu, další zdroje vyhledával sám.
Aktivita během řešení, konzultace, komunikace

Komunikace s odborným konzultantem byla bezproblémová, konzultace probíhaly pravidelně a student byl vždy připraven a aktivní.  S pedagogickým vedoucím nebyla komunikace během řešení tak častá, což vzhledem k charakteru práce nevadí. O postupu jsem byl průběžně informován.
Aktivita při dokončování

Student konzultoval s pedagogickým vedoucím závěrečnou podobu práce s dostatečným předstihem.
Publikační činnost, ocenění
Points proposed by supervisor: 85
Display more

Grade proposed by supervisor: B

Reviewer’s report
doc. Ing. František Zbořil, Ph.D.

Mé hodnocení práce je založeno převážně na výsledné realizaci. Menší nedostatky v předložeeném textu překonává funkční a zdařile provedený ARM systém pro rozpoznávání gest.

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: průměrně obtížné zadání

Tématem práce bylo vytvořit systém pro rozpoznávání gest pro ARM systémy. Zadání vyžadovalo nelézt způsob, jak takový systém vytvořit a optimalizovat jej právě pro ARM. Náročnost hodnotím jako průměrnou.
Prezentační úroveň technické zprávy

Celkově text práce přináší přehledný a dostatečný popis toho, co bylo v rámci bakalářské práce učiněno. Práce představuje oblasti umělé inteligence a strojového učení. Dále student volí dva systémy pro detekci gest. Přestože píše, že správná volba je důležitá, proč právě tyto dva systémy vybral neuvádí. Na rozdílu od Mobile Net V2  systém Efficient Det, který je ve výsledk tím, který je nasazen pro ARM, blíže nerozebírá, jen konstatuje, že je pro tento problém vhodný. Dále text popisuje hardwarové a softwarové prostředky, které byly použity, diskutuje, jaké problémy nastaly zejména při pokusu upravit Mobile Net pro ARM a na závěr diskutuje výsledky. Co bych vytkl je ne zcela logické uspořádání jednotliivých částí. Dále v části popisující softwarové řešení je velké množství ukázek kódu, které jsou podle mého názoru zbytečné. Také smsysl zvláštních sekcí o ztrátové funkcí (2.5) nebo o epochách a dávkovém zpracování (3.4.1) mi příjdou zbytečné (tedy to, že pro tyto problémy byly vytvořený speciální sekce). Jinak ovšem práci považuji za nadprůměrnou.

 80
Formální úprava technické zprávy

Formální úprava práce je velmi dobrá, nenalezl jsem prohřešky proti jazyku, nakolik můžu angličtinu posoudit. Formu uvádění ukázek kódu s vesměs krátkým úvodním komentářem jsem již zahrnul do hodnocení výše.

 90
Realizační výstup

Výsledkem je funkční a pěkně realizovaný systém pro rozpoznávání gest. I když jeho úspěšnost není stoprocentní, vzhledem k použitým prostředkům (dle zadání) a jejich omezením dosáhl student téměř maxima možného.

 99
Využitelnost výsledků

Mám za to, že tento systém by mohl být nasazen tak jak je, nebo po menších úpravách, do běžného provozu.
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Student se s tématem vypořádal zdařile a výsledkem je funkční systém pro rozpoznávání gest běžící na ARM. Student zvolil dca systémy, neuronovou síť Mobile Net V2 a systém Efficient Det. Druhý ze systému se podařilo umístit na ARM platformu. 
Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí
Práce s literaturou

Student uvádí celkem 57 pramenů, což je na bakalářskou práci poměrně vysoké číslo. Tyto prameny jsou v praci řádně citovány. Otázkou je, zdali všechny zdroje byly nezbytné a podstatné pro vznik této práce, ale věřím, že pro použití každěho z nich měl student důvod.

 92
Topics for thesis defence:
  1. Na základě čeho jste zvolil právě systémy MobileNetV2’s a Efficient Det?
Points proposed by reviewer: 90
Display more

Grade proposed by reviewer: A