Přístupnostní navigace
E-přihláška
Vyhledávání Vyhledat Zavřít
diplomová práce
Autor práce: Ing. Jakub Kasem
Ak. rok: 2024/2025
Vedoucí: Ing. Radek Kočí, Ph.D.
Oponent: doc. Ing. Vladimír Janoušek, Ph.D.
Táto magisterská práca sa zameriava na automatizované testovanie modelov hlbokých neurónových sietí na vstavaných platformách. Teoretická časť práce skúma populárne úložiská modelov umelej inteligencie a nástroje na získavanie modelov z takýchto úložísk. Teoretický základ práce taktiež zahŕňa prehľad metrík používaných na hodnotenie modelov hlbokých neurónových sietí v úlohách klasifikácie, detekcie objektov a segmentácie. Práca ďalej opisuje návrh a implementáciu systému, ktorý automatizuje testovanie a vyhodnocovanie modelov hlbokých neurónových sietí na vstavaných Linux architektúrach. Navrhované riešenie sa zameriava na meranie presnosti a odozvy modelu, s funkcionalitou, ktorá umožňuje detekciu regresie výkonu. Riešenie bolo overené na vstavaných platformách vyrábaných spoločnosťou NXP Semiconductors s použitím modelov hlbokých neurónových sietí v rôznych úlohách počítačového videnia. Práca končí diskusiou o skúsenostiach získaných počas implementácie a načrtáva možnosti ďalšieho vývoja a rozšírenia systému.
Automatizované testovanie, hlboké neurónové siete, vstavané systémy, vyhodnotenie neurónovej siete, presnosť neurónovej siete, odozva neurónovej siete, počítačové videnie, klasifikácia, detekcia objektov, sémantická segmentácia, TensorFlow Lite, TFLite, úložisko AI modelov, Kaggle, Hugging Face, FastAPI.
Termín obhajoby
24.06.2025
Výsledek obhajoby
obhájeno (práce byla úspěšně obhájena)
Klasifikace
B
Průběh obhajoby
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
Otázky k obhajobě
Jazyk práce
angličtina
Fakulta
Fakulta informačních technologií
Ústav
Ústav inteligentních systémů
Studijní program
Informační technologie a umělá inteligence (MITAI)
Specializace
Strojové učení (NMAL)
Složení komise
prof. Dr. Ing. Jan Černocký (předseda) doc. Ing. Lukáš Burget, Ph.D. (člen) doc. Ing. Vladimír Janoušek, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. Jaroslav Rozman, Ph.D. (člen) Ing. František Grézl, Ph.D. (člen)
Posudek vedoucíhoIng. Radek Kočí, Ph.D.
Přístup studenta k řešení diplomové práce hodnotím jako výborný. Přikládám také vyjádření odborného vedoucího z firmy NXP, Jakuba Salamona.
Student byl aktivní, zajímal se o zpětnou vazbu a bylo vidět, že opravdu stojí o to, aby jeho práce byla kvalitní. V rámci implementace dodržoval naše týmové standardy na kvalitu kódu. Co se týče spokojenosti s výsledkem, vyzdvihnout bych chtěl hlavně situaci, kdy naimplementovaný systém skutečně v produkčním prostředí odhalil regresi mezi dvěma verzemi našeho SDK, což je za mě ta nejlepší možná vizitka.
Práce byla zadána ve spolupráci s firmou NXP. Cílem bylo vytvořit nástroj pro automatizované spouštění a vyhodnocování testů modelů neuronových sítích na vestavěných platformách. Náročnost zadání odpovídá nárokům kladeným na diplomovou práci.
Text práce byl k dispozici v dostatečném předstihu a student měl možnost reagovat na mé připomínky.
Student využil literaturu doporučenou odborným vedoucím, kterou doplnil dalšími zdroji.
Student pravidelně konzultoval s odborným vedoucím z firmy NXP, o průběhu práce jsem byl průběžně informován. Student se mnou konzultoval především podobu technické zprávy.
Známka navržená vedoucím: A
Posudek oponentadoc. Ing. Vladimír Janoušek, Ph.D.
Přes drobné výhrady pozitivně hodnotím kvalitu technické zprávy i použitelnost a užitečnost realizačního výstupu.
Stupeň hodnocení: zadání splněno
Stupeň hodnocení: je v obvyklém rozmezí
67 stran v LaTeXu.
Struktura práce nemá chybu. Kapitoly logicky navazují, rozsahem jsou vyvážené a obsah je srozumitelný a zcela jasný. Jen v obecném popisu neuronových sítí jsem narazil na některé ne zcela přesné formulace ohledně generalizace, ale to není podstatné. Text je vhodně a účelně doprovázen srozumitelnými UML diagramy. Všechny aspekty práce jsou v technické zprávě pečlivě zdokumentovány.
Typografická i jazyková úroveň práce je na velmi vysoké úrovni. Jen na několika místech se v matematické sazbě záhadně objevuje zdvojený symbol "mínus".
Studijní prameny jsou vybrány smysluplně a jsou správně citovány.
Realizační výstup odpovídá požadavkům a je plně funkční. Subsystémy jsou navrženy smysluplně a jejich funkce rozhodně není triviální. Ale pokud jde o nejvyšší úroveň, chápu ji v podstatě jako prototypové řešení, které demonstruje kompletní workflow procesu testování konfigurovatelným skriptem, ze kterého jsou postupně volána API subsystémů a který nakonec zpřístupní výsledky.
Otázka je, co se stane, když po několika hodinách testování dojde k chybě. Například nelze nalézt požadovaný model, nelze se připojit k zařízení, narazí se na chybu v uživatelském skriptu apod., nebo dojde k výpadku napájení.
Raději bych tedy místo ručně spouštěného skriptu viděl agenta (démona, službu), který si opakovaně postupně vyzvedává dosud nezpracovanou agendu s potřebnou konfigurací z databáze a tu postupně provádí, přičemž co může, to paralelizuje a zotavuje se z případných chybových stavů. Mezitím bych umožnil uživateli asynchronně přistupovat k databázi, sledovat dosavadní výsledky a vkládat další agendu ke zpracování.
Práce je velmi dobře prakticky použitelná v souladu se zadáním a má potenciál pro další rozšiřování.
Stupeň hodnocení: průměrně obtížné zadání
Známka navržená oponentem: B
Odpovědnost: Mgr. et Mgr. Hana Odstrčilová