Master's Thesis

System for tracking and classification of objects in the sky

Final Thesis 10.77 MB Appendix 10.36 MB

Author of thesis: Ing. Jakub Franka

Acad. year: 2023/2024

Supervisor: Ing. Ilona Janáková, Ph.D.

Reviewer: Ing. Peter Honec, Ph.D.

Abstract:

This work deals with the use of computer vision in the field of detection, tracking and classification of flying objects in a real environment. The goal is to create a robust system, capable of working effectively in adverse conditions and accurately identifying different types of objects in the sky. The work progresses from theoretical foundations, choice of methods, to the design and implementation of a computer vision system.

Keywords:

computer vision, object detection, tracking, classification, flying objects, microcomputers, dataset

Date of defence

04.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student obhájil diplomovou práci. Komise neměla žádné námitky k řešené práci. V průběhu odborné rozpravy byl student dotazován na implementaci - volbu programovacího jazyku, dobu běhu programu a snímkování.

Language of thesis

Slovak

Faculty

Department

Study programme

Cybernetics, Control and Measurements (MPC-KAM)

Composition of Committee

prof. Ing. Petr Bilík, Ph.D. (předseda)
prof. Ing. Pavel Václavek, Ph.D. (místopředseda)
doc. Ing. Jakub Arm, Ph.D. (člen)
Ing. Peter Honec, Ph.D. (člen)
Ing. Ilona Janáková, Ph.D. (člen)
Ing. Jaroslav Lepka, Ph.D. (člen)
Ing. Stanislav Pikula, Ph.D. (člen)

Supervisor’s report
Ing. Ilona Janáková, Ph.D.

Pan Franka v rámci své diplomové práce zpracovával komplexní téma detekce, trasování a klasifikace létajících objektů na obloze. Již od začátku přistupoval k práci velmi aktivně, zodpovědně a se zájmem. Pravidelně konzultoval. Na každé setkání byl dobře připraven, představoval své pokroky, prezentoval dílčí výsledky a sám navrhoval i další postup. Diplomant pracně s různých zdrojů sestavil dataset, který dále vhodně rozšířil, upravil, rozdělil, doanotoval. Vybral vzhledem k požadavkům úlohy vhodné HW prostředky a celé mobilní zařízení zrealizoval, elektricky i softwarově propojil a ověřil. Doplnil jej i o navržený funkční kryt, kdy oceňuji i důmyslné variabilní uchycení kamery. Navrhl a testoval řadu metod detekce a klasifikace. Správně se rozhodl otestovat dva základní přístupy – detekce a klasifikace v jednom kroku pomocí CNN detektorů objektů a rozdělení na vlastní detekci a klasifikační CNN. Vybrané postupy a modely implementoval do zařízení. Vytvořená aplikace je modulární, s paralelním zpracováním a přívětivým GUI. Dále naprogramoval vlastní aplikaci pro úpravu a anotaci pořízených videí a další pro výpočet potřebných metrik pro porovnání přístupů.
Práci bylo věnováno mnoho úsilí a času, nadějně postupovala, proto jsem nepochybovala, že se ve výsledku bude jednat o velmi kvalitní diplomovou práci. O to více mě překvapilo, že samotný dokument je velmi stručný a nevystihuje množství odvedené práce a dosažených výsledků. Bohužel musím také konstatovat, že některé podstatné části v něm chybí, především zhodnocení. I přesto, že diplomant jistě pracně programoval vlastní aplikaci na vyhodnocení implementovaných postupů, na zařízení zaznamenaných videí, a samotná aplikace je popsána dobře, širší výsledky a porovnání úspěšnosti jednotlivých přístupů v dokumentu uvedeny nejsou. Chybí také úspěšnost jednotlivých klasifikačních modelů na testovacím datasetu či vyhodnocení vlastní detekce objektů odečtením dynamického pozadí. Porovnání výkonu, výpočetní náročnosti přístupů, prezentované na jednom snímku nepovažuji za dostatečné. Také jsem očekávala využití možností, které přináší zpracování sekvence snímků – potvrzení klasifikace na více snímcích, odstranění falešných detekcí apod.
Samotný dokument je uspořádán v logickém sledu s dobrou prezentační i jazykovou úrovní a je také dobře formálně i graficky upraven. Práce s literaturou mohla být lepší, je využito pouze 13 zdrojů a např. v kap. 3 a 4.1 chybí odkazy. Podle mě všech známých skutečností i dle výsledku porovnání systémem Theses není dokument plagiátem (míra podobnosti 5 % je daná formálními náležitostmi práce).   
Pan Franka podle mého názoru odvedl mnoho kvalitní práce, jejíž výsledky jsou dobře využitelné pro další pokračování. Aktivitu, práci v průběhu celého roku a realizační výstupy bych hodnotila klasifikačním stupněm A. S ohledem na výše zmíněná opomenutí v dokumentu ale navrhuji hodnocení B (83 b). Points proposed by supervisor: 83

Grade proposed by supervisor: B

Reviewer’s report
Ing. Peter Honec, Ph.D.

Cílem diplomové práce Jakuba Franka bylo navrhnout systém pro detekci a klasifikaci létajících objektů, a to jak po HW tak i po SW stránce. Téma se dá považovat za středně náročnější s velkým potenciálem a možností realizace mnoha způsoby. Předložený dokument na 50 normostranách je po formální stránce v pořádku. V úvodu se diplomant věnuje teorii detekce a klasifikace objektů, vše věcně s přihlédnutím k tématu samotné diplomové práce. V realizační části pak jsou logicky popsány kroky od návrhu a tvorby snímacího zařízení, přes tvorbu datasetu, následný návrh a učení modelů až po návrh software pro RPi.
Co se týče HW návrhu, vůbec nerozporuji volbu RPi platformy a chválím pěkné zakrytování, celek působí kompaktně a prakticky. Již ale postrádám odůvodnění pro volbu použité kamery a objektivu – zde se měl student zamyslet nad účelem zařízení, možná by vybral jiný typ kamery a objektivu s větší ohniskovou vzdáleností, což by vzhledem k potřebě klasifikace objektů mohlo zajistit větší obrazové detaily. Na trhu je takových modulů dostupných spousta. Zároveň si myslím, že výpočet předpokládané velikosti objektu dle 7.1. je 2x nadhodnocen.
K samotnému datasetu mám také výhrady, i když chápu, že zajistit kvalitní dataset na takovou úlohu není jednoduché. Každopádně kvalita datasetu je zásadní pro úspěch učení klasifikátoru a cíl této práce. Část datasetu je, jak student poznamenává, získaná z veřejných zdrojů, část z předešlé práce na UAMT a část doplněná studentem. Z přiloženého datového nosiče ani z práce není zřejmé, kolik tvoří jednotlivé skupiny. Student zároveň provedl rozšíření augmentací. Ovšem nahlédnutím do datasetu vidím zjevné chyby, které se jistě musely negativně projevit na finálních výsledcích práce. Např.
-    dataset dronů má sice 2800 obrázků, ale naprostá většina jsou snímky cca 5-ti dronů v různých fázích letu,
-    velká část datasetu je velmi degradovaná kompresí a to tak, že artefakty po kompresi jsou hodně výrazné,
-    v datasetu jsou i objekty tak malé, že jsou nerozlišitelné ani okem,
-    dataset dronů obsahuje i letadla.
Zejména poslední bod dává prostor pro pochybnosti, jakou pak mají finální výsledky a závěry vypovídající hodnotu.
Student také neuvažuje možnost zpřesnění klasifikace na základě dynamiky letícího objektu a zaměřuje se pouze na statické snímky. Toto je však otázka spíše na školitele – pokud bylo takové zadání, tak je to v pořádku.
V závěru postrádám širší zhodnocení a také na přiloženém médiu jsou pouze 2 reálná videa s ptáky a helikoptérou a s celkovou délkou 20s. Taková práce by zasloužila více.
Přes všechny výtky musím uznat, že práce je velmi komplexní vč. návrhu HW a mezi řádky je vidět spousta odvedené práce, kterou ale student nedokázal prodat v dokumentu. Diplomant dostatečné dokázal své inženýrské dovednosti, práci doporučuji k obhajobě s hodnocením C/70b. Topics for thesis defence:
  1. Možná se mýlím, ale výpočet velikosti objektu v 7.1 je špatně.
  2. Okomentujte, prosím, proč nebylo uvažováno s dynamikou letícího objektu
  3. Okomentujte dataset, jeho velikost, kvalitu a kritizované nedostatky
Points proposed by reviewer: 70

Grade proposed by reviewer: C

Responsibility: Mgr. et Mgr. Hana Odstrčilová