Bachelor's Thesis

Object Detection on the i.MX RT Microcontroller

Final Thesis 3.84 MB Appendix 18.66 MB

Author of thesis: Bc. Marina Kravchuk

Acad. year: 2023/2024

Supervisor: doc. Ing. Vladimír Janoušek, Ph.D.

Reviewer: Ing. Jaroslav Rozman, Ph.D.

Abstract:

This work focuses on the use of machine learning, particularly convolutional neural networks, in industrial applications. The course of work involves investigating the implementation of these networks directly on embedded devices, specifically NXP i.MX RT microcontrollers. During the course of the study, materials related to the training and use of neural networks and their optimization for deployment on low power devices were reviewed. Several neural network models were trained and tested, the best of which was used in the final version of the application. The application itself is divided into two parts: one part is written in C/C++ in the MCUXpresso IDE, where the main functionality of the program is implemented, while the other part of the work, i.e. the creation of a graphical user interface to control the program, is done in Python. The result is a functional application for the MIMXRT1170-EVK microcontroller that is able to detect and recognize small colored objects of certain shapes from a predefined data set.

Keywords:

object detection, neural network, convolutional neural network, image processing, embedded systems, NXP i.MX RT.

Date of defence

14.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. V práci máte obrázek scény (8.11 a 8.12), který je ale celkem škaredý. Uvedla jste, že je to ale tím, že je přefocený mobilem. Můžete ukázat, jak vypadaly reálné obrázky, na kterých se síť učila?
  2. Uvádíte, že při trénování sítě byly různé vzory předloženy různěkrát. Nemůže to mít vliv na chybné rozpoznávání některých vzorů? Můžete uvést tabulku, kolikrát byl který vzor síti při učení předložen?
  3. Proč byl vybrán uvedený procesor?

Language of thesis

Czech

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

doc. Dr. Ing. Otto Fučík (předseda)
doc. Mgr. Kamil Malinka, Ph.D. (člen)
Ing. Vojtěch Mrázek, Ph.D. (člen)
Ing. Libor Polčák, Ph.D. (člen)
Ing. David Bařina, Ph.D. (člen)

Hodnocení odráží přístup studentky v průběhu řešení a mírně obtížnější zadání (zahrnující nutnost experimentovat s více variantami řešení) a také přímou praktickou použitelnost vytvořeného díla.

Evaluation criteria Verbal classification
Informace k zadání

Jde o zadání firmy NXP. Smyslem práce bylo vytvoření ukázkové aplikace pro demonstraci možností mikrokontroleru i.MX RT v oblasti Embedded AI. 

Konzultant z NXP považuje téma za složitější, především z hlediska řešení kompatibility AI modelů jak s HW, kvůli omezením vestavěných zařízení, tak s knihovnami a nástroji, které dané modely více či méně podporují. 

Veškeré požadavky zadání byly splněny.

Práce s literaturou

Studijní materiály studentka vyhledala na základě doporučení konzultanta samostatně a použila je smysluplně. 

Aktivita během řešení, konzultace, komunikace

Konzultant z NXP velmi chválí přístup studentky v průběhu řešení a oceňuje její schopnost samostatně hledat a využívat studijní materiály a také  trpělivost při experimentování s různými variantami řešení. 

V průběhu řešení proběhlo také několik konzultací s pedagogickým vedoucím a byl vždy zřejmý pokrok.

Aktivita při dokončování

Práce byla dokončena včas a připomínky byly vzaty v úvahu.

Publikační činnost, ocenění

-

Points proposed by supervisor: 90

Grade proposed by supervisor: A

Reviewer’s report
Ing. Jaroslav Rozman, Ph.D.

Výsledná práce je i přes uvedené nedostatky funkční a pro zamýšlené použití plně dostačující. Studentka během své práce ukázala, že je schopná nastudovat problematiku neuronových sítí a z možných hotových knihoven vybrat nejvhodnější pro daný účel, natrénovat ji a na mikorkontroléru zprovoznit. Z tohoto důvodu hodnotím stupněm B/80 bodů.

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: obtížnější zadání

Tématem práce bylo vytvořit detekci objektů pomocí neuronové sítě na mikrokontroleru. Vzhledem k omezeným možnostem mikrokontrolerů považuji téma za spíše obtížnější.

Prezentační úroveň technické zprávy

Prezentační úroveň technické zprávy je dobrá.

75
Formální úprava technické zprávy

Na formulaci některých vět je poznat, že autorka není rodilou mluvčí českého jazyka, ale jinak práce neobsahuje nějak velké množství chyb, překlepů nebo špatně vyskloňovaných slov.

75
Realizační výstup

Realizovaná neuronová síť sice nepracuje úplně 100%, ale to může být nejspíše tím, že běží pouze na mikrokontroléru. Větším problémem je spíše několikavteřinová prodleva před rozpoznáním objektu, ale pro plánované použití to nejspíše nevadí. 

80
Využitelnost výsledků

Výsledná práce je zamýšlena pro použití jako ukázková aplikace pro prezentaci schopností mikrokontrolérů. Zde je trochu škoda, že nepracuje v reálném čase, ale to by se možná dalo spravit další optimalizací, nebo použitím výkonnějšího mikrokontroleru.

Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Zadání práce bylo splněno.

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Rozsah zprávy je v obvyklém rozmezí.

Práce s literaturou

Práce s literaturou je dobrá.

75
Topics for thesis defence:
  1. Uvádíte, že při trénování sítě byly různé vzory předloženy různěkrát. Nemůže to mít vliv na chybné rozpoznávání některých vzorů? Můžete uvést tabulku, kolikrát byl který vzor síti při učení předložen?
  2. V práci máte obrázek scény (8.11 a 8.12), který je ale celkem škaredý. Uvedla jste, že je to ale tím, že je přefocený mobilem. Můžete ukázat, jak vypadaly reálné obrázky, na kterých se síť učila?
Points proposed by reviewer: 80

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová