Bachelor's Thesis

Optimalizace neuronové sítě pro detekci objektů s využitím NPU

Final Thesis 4.8 MB

Author of thesis: Bc. Lukáš Witpeerd

Acad. year: 2024/2025

Supervisor: Ing. Tomáš Goldmann, Ph.D.

Reviewer: Ing. Filip Orság, Ph.D.

Abstract:

Object detection has been one of the most active areas of machine learning. An ever-increasing emphasis is being placed on data protection, privacy and the efficient use of energy resources. This thesis focuses on the optimization of models and tasks associated therewith for fast local inference on neural network accelerators, with a focus on YOLOv8 and DETR networks. These networks have been, in the best case, quantized with a 0,4, 0,3 and 0,6mAP loss in precision in the case of the n, s and m variants of the YOLOv8 model. For DETR-ResNet-50, the loss in precision was 3,5mAP. The dataset used for evaluation is COCO val2017. This thesis also includes an optimized implementation of the NMS algorithm, which is 518% and 656% faster than other implementations when run on the AMD Ryzen 7900X and Rockchip RK3588 CPUs, respectively.

Keywords:

Object detection, Quantization, Neural network accelerators, Non-Maximum Suppression, YOLOv8, DETR, RT-DETR, NPU, Rockchip RK3588, Hailo-8

Date of defence

17.06.2025

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Vysvětlete, co znamená zkratka "mAP", kterou v textu velmi hojně používáte.
  2. Na kolika úrovních zachycení pracujete?
  3. Při jakém rozlišení jste vyhodnocoval?
  4. Jaká knihovna byla použita? Jak provádíte kvantizaci?

Language of thesis

Czech

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

doc. RNDr. Pavel Smrž, Ph.D. (předseda)
Ing. Michal Hradiš, Ph.D. (člen)
RNDr. Marek Rychlý, Ph.D. (člen)
Ing. Tomáš Goldmann, Ph.D. (člen)
Ing. Martin Žádník, Ph.D. (člen)

Supervisor’s report
Ing. Tomáš Goldmann, Ph.D.

Celkově hodnotím práci jako zdařilou a odpovídající zadaným cílům. Výsledná knihovna pro provádění postprocessingu je prakticky využitelná. Student provedl experimenty s různými řešeními i na různých platformách, což přineslo cenné poznatky pro aplikační nasazení. Při závěrečném hodnocení studenta zohledňuji jeho aktivitu během řešení práce, přístup k jejímu dokončení i úroveň celkového zpracování. Studenta proto hodnotím známkou velmi dobře (B)

Evaluation criteria Verbal classification
Informace k zadání

Bakalářská práce je zaměřena na dva základní úkoly. Cílem prvního z nich je vytvořit optimalizovaný algoritmus pro postprocessing výstupů z detekčních neuronových sítí. Druhý úkol se soustředí na vyhodnocení inference několika řešení jak na architektuře ARM, tak i x86. Zadání práce hodnotím jako průměrně obtížné. Práce je splněná ve všech bodech zadání.

Práce s literaturou

Student si literaturu obstaral samostatně. S výběrem použitých zdrojů a studijních materiálů se ztotožňuji.

Aktivita během řešení, konzultace, komunikace

Aktivita studenta během řešení práce byla proměnlivá. Největší úsilí věnoval práci v týdnech před odevzdáním, zejména při zpracování technické zprávy. Na konzultace přicházel připravený, měl dobrý přehled o řešené problematice a klíčové otázky, zejména směřování práce a vzniklé problémy, se mnou aktivně řešil. Přístup studenta celkově hodnotím jako standardní.

Aktivita při dokončování

Práce nebyla dokončena s dostatečným předstihem. S výslednou verzí jsem se seznámil, nicméně jsem ji z časových důvodů nemohl podrobně prostudovat. Student mé připomínky do práce zapracoval a potřebné části upravil.

Publikační činnost, ocenění

O publikační činnosti ani případných oceněních studenta nemám informace.

Points proposed by supervisor: 89

Grade proposed by supervisor: B

Reviewer’s report
Ing. Filip Orság, Ph.D.

Tato bakalářská práce je velmi zajímavá v kontextu momentální popularity AI a jejího nasazení v mnoha oblastech reálného světa. Pohled na výkon, spotřebu a kvalitu výstupu, který tato práce poskytuje, je užitečný pro nasazení neuronových sítí v malých systémech s nízkou spotřebou. Práce má drobné nedostatky, ale také mnoho pozitiv. Po celkovém zvážení všech aspektů hodnotím práci jako výbornou.

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: obtížnější zadání

Samotné zadání se za určitých okolností dá zařadit mezi průměrně obtížná (volnost ve volbě akcelerátorů), ale obtížnost předloženého řešení tkví především v tom, že množina akcelerátorů, kterou autor testuje, je poměrně různorodá a je náročné vytvořit jednotný postup testování pro každou architekturu.

Prezentační úroveň technické zprávy

Technická zpráva má vhodně zvolenou strukturu. Styl některých kapitol je netradiční, ale plní svůj účel. Text práce je jednoduchý a snadno pochopitelný, kromě chybějícího vysvětlení zkratky "mAP", která se v textu hojně vyskytuje a jejíž význam není vysvětlen.

90
Formální úprava technické zprávy

Jazykově je práce v pořádku, bez zjevných hrubých chyb. Po formální stránce má však práce několik nedostatků, např. chybné využívání desetinné tečky místo čárky (autor používá nejednotně obojí), již zmiňovaná zkratka "mAP", používání slova "pozpracování" (zřejmě odpovídá běžnějšímu anglickému "post-processing"), nebo chybějící jednotka v některých tabulkách (čas zřejmě myšlen v us). Práce je v tomto směru uspěchaná a mírně nedotažená.

80
Realizační výstup

Realizačním výstupem jsou skripty v jazyce Python a aplikace v C++, která obsahuje pro jednotlivé architektury také kód v asembleru, který využívá  SIMD rozšíření procesorů (AVX-512 u x86 a NEON u Armu). Dalším výstupem jsou výsledky experimentů shrnující různé pohledy na výkon jednotlivých akcelerátorů pro vybrané neuronové sítě. Zdrojové kódy autora jsou řádně označené.

90
Využitelnost výsledků

Výsledky práce poslouží jako východisko při výběru vhodného akcelerátoru neuronových sítí a bylo by možné je shrnout do článku a publikovat na vhodné konferenci. 

Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Práce s literaturou

Student k vypracování práce použil relevantní literární zdroje, které náležitě odcitoval. Převzaté části jsou odlišeny od vlastních úvah studenta. Citace jsou v souladu s citačními zvyklostmi. Seznam literárních odkazů obsahuje široké spektrum referencí na různé zdroje od online, přes články, až po knihy.

100
Topics for thesis defence:
  1. Vysvětlete, co znamená zkratka "mAP", kterou v textu velmi hojně používáte.
Points proposed by reviewer: 90

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová