Author of thesis: Ing. Dávid Dolobáč

Acad. year: 2023/2024

Supervisor: Ing. Miloslav Richter, Ph.D.

Reviewer: Ing. Ilona Janáková, Ph.D.

Abstract:

This thesis sets itself the task to detect geometric changes, located on a previously known route, which is considered as a template or pattern. Geometric changes represent rigid transformations of objects in a scene, specifically their rotation, displacement and their combinations. Another type of change is the addition of new or removal of original objects. The original route is captured with a monocular camera and by using methods of photogrammetry, a 3D model of a scene in a point representation is reconstructed from the video sequence. In the same manner, a 3D model of the scene containing changes is created, but this model captures only the local section of the original route. This local point cloud is registered in the 3D model of the original route, so that the 3D models can be directly compared with each other. The investigated space is divided into cubic voxels of the same size which are successively traversed and the degree of similarity of local surfaces is investigated for each of them. The solution results in 3D points from both clouds marked as changed or unchanged. The mentioned methods are tested on real data in scenarios with different geometric modifications of the scene and the evaluation of change detection is implemented as in the case of a binary classifier.

Keywords:

change detection, voxel, surface normals, orientation histogram, photogrammetry, camera calibration, 3D reconstruction, point cloud, 3D model, registration, localization, MATLAB

Date of defence

05.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student obhájil diplomovou práci. Komise neměla žádné námitky k řešené práci. V průběhu odborné rozpravy odpověděl na dotazy: Doplňující otázku týkající se detekce změn student zodpověděl bez výhrad. Doplňující otázku týkající se množství voxelů v okolí student zodpověděl bez výhrad. Doplňující otázku týkající se osvětlení scény student zodpověděl

Language of thesis

Slovak

Faculty

Department

Study programme

Cybernetics, Control and Measurements (MPC-KAM)

Composition of Committee

doc. Ing. Jan Mikulka, Ph.D. (předseda)
doc. Ing. Petr Blaha, Ph.D. (místopředseda)
Ing. Jiří Fialka, Ph.D. (člen)
Ing. Miloslav Richter, Ph.D. (člen)
Ing. Soňa Šedivá, Ph.D. (člen)
Ing. Soběslav Valach (člen)

Supervisor’s report
Ing. Miloslav Richter, Ph.D.

Celá práce má rozsah 84 stran a svědčí o značných studentových znalostech. Teoretický úvod má délku 48 stran, čímž se řadí mezi delší. Teorie je zde ovšem zpracována precizně a přehledně, na základě nastudované literatury. Jedná se o ucelený popis celého postupu 3D zpracování scény bez výraznější nutnosti odbíhat ke zdrojům, z nichž bylo čerpáno, a které jsou citovány. Vhodné je také provázání úvodní části s vlastní prací, včetně použití snímků z vlastního řešení k demonstraci. Zároveň je nutné konstatovat, že většina materiálů z úvodu byla při řešení použita. Vlastní řešení je přehledně popsané a doprovázené demonstračními snímky a diagramy. Z předložené práce plyne, že práce byla zpracována na velice dobré prezentační i technické úrovni a splnila zadané úkoly. SW je dodán jako aplikace, ve které je možné zpracovávat vlastní data. Student na práci pracoval samostatně, zvláště pak v realizační fázi, kdy pravidelně konzultoval, převážně však vážnější souvislosti nebo problémy spojené s řešením. Points proposed by supervisor: 96

Grade proposed by supervisor: A

Reviewer’s report
Ing. Ilona Janáková, Ph.D.

Úkolem pana Dolobáče bylo navrhnout aplikaci, která zajistí asistenci při průchodu známou trasou a upozorní na významné body trasy a na geometrické změny v ní. Předložená diplomová práce má nadprůměrný rozsah 85 normostran (úvod-závěr) a celkem se všemi přílohami a náležitostmi 120 stran. I přes značný rozsah dokumentu se studentovi podařilo udržet dobrou formální i grafickou úroveň a ve slovensky psaném textu jsem odhalila jen několik překlepů nebo stylistických chyb. Celkem bylo využito 50 správně citovaných a v textu odkazovaných zdrojů a samotné zpracování zdrojů (jsou využity především v prvních dvou teoretických kapitolách) je velmi kvalitní.
V první kapitole diplomant dělí možné přístupy na 2D a 3D. Oceňuji, že si na základě důkladné rešerše a vlastního zhodnocení vybral výhodnější 3D přístup, který je však náročnější a přináší řadu výzev. O tom svědčí i druhá kapitola, která má pro představu rozsah 41 stran, 27 obrázků a přes 120 vztahů (+ další i neočíslované). Tato kapitola je velmi precizně zpracována. I náročné matematické operace jsou vysvětleny srozumitelně a kapitola by mohla být využita i samostatně jako kvalitní studijní materiál. Popisuje od homogenních souřadnic a modelu kamery, přes určení orientace kamery a triangulaci 3D bodů až k registraci mračen bodů a jejich voxelové reprezentaci. Diplomant i v této teoretické části již naznačuje konkrétní využití v řešené úloze. Kdybych měla něco nutně vytknout, byl by to asi jen trochu stručnější popis metody Bundle Adjustment. Nebo, že by do logického celku zapadaly i detektory a deskriptory významných bodu, ale podle praktické části je s nimi diplomant dobře obeznámen.
Ve třetí kapitole je definována úloha. Scéna je vymezená podmínkami (statická, interiér, bez okluze, výrazných změn osvětlení a opakujících se vzorů). Omezení pohybu (trasy) kamery a její orientace vůči scéně není v textu přímo popsáno, ale z obrázků a snímků jednotlivých tras na přiloženém médiu je patrné, že jde o přibližně rovnoměrný pohyb kamery ve směru rovnoběžném se scénou, kdy kamera je pravděpodobně držena v ruce a orientovaná kolmo ke směru pohybu. Na ukázkách, demonstrujících i typickou scénu, jsou prezentovány změny, které by měly být detekovány – přidání nebo odebrání objektu, posunutí či rotace objektu, záměna objektů a různé vzájemné kombinace těchto změn. Vzhledem k výběru 3D řešení mohly být možná podmínky méně striktní, resp. testovací trasy pestřejší – změny osvětlení (pro potvrzení jedné z uvedených výhod řešení v 3D) a větší rozdíly referenční a porovnávané trasy i s možnou menší změnou orientace kamery (nejen translační pohyb). Věřím, že by to navržený algoritmus i takto zvládl.
Dále je popsán celý vytvořený systém detekce změn vycházející z teoretického úvodu. Nejdříve jako koncepční návrh v kapitole 4 a pak v kapitole 5 jeho realizace. Zde bych navrhovala spíše sloučení obou kapitol, které by usnadňovalo pochopení běhu celého programu rovnou prezentací na názorných ukázkách dílčích výsledků bez dublování popisu stejného postupu, případně hledání změn a nutnosti se stále vracet o několik stran zpět. Celková koncepce i jednotlivé dílčí kroky řešení byly podle mě ale zvoleny správně, což potvrzují i dosažené výsledky. Oceňuji zejména několikanásobnou filtraci a že se student nespokojil jen s vyhodnocením jsou/nejsou body v daném voxelu, ale změny analyzuje přes histogram orientací normál povrchů.
Vyhodnocení bylo provedeno jistě pracným ručním vyznačením 3D bodů představujících změnu ve všech mračnech a sestavením matice záměn klasifikace je/není změna. Výsledky všech porovnávaných tras jsou uvedeny v příloze. Vytkla bych jen absenci celkové úspěšnosti systému a testu opakovatelnosti (stejná scéna bez změn změřena dvěma průchody).
Vlastní zdrojový kód na přiloženém médiu je dobře strukturovaný, čitelný a přiměřeně komentovaný. Navíc je přiložena i užitečná demonstrační aplikace i s vhodnými parametry pro jednotlivé trasy a pro nezávislé testování i s uloženými mezivýsledky. Případné výtky k samotnému postupu algoritmu by byly opět jen drobnosti, např., že snímky mohly být převedeny do šedotónu a geometricky transformovány pouze jednou, a ne při každé detekci významných bodů. Také procházení všech snímků a detekce, distribuce a extrakce významných bodů v prvním kroku jen pro určení vhodného počtu bodů mi přijde vzhledem k časové náročnosti trochu zbytečné. Mohlo být řešeno spíše univerzálněji nebo případně jako nastavitelný parametr.
Pan Dolobáč odevzdal k posouzení velmi kvalitní diplomovou práci, která jistě prokazuje jeho inženýrské schopnosti, proto doporučuji práci k obhajobě s hodnocením A (90 b). Topics for thesis defence:
  1. Jaké odhadujete, že by Váš algoritmus ještě zvládl změny scénáře – do jaké míry by se vypořádal se změnami světelných podmínek, trajektorie pohybu a změny orientace kamery, velikostí provedených změn atd.?
  2. Setkal jste se při literární rešerši s přístupy, které by využívaly nějakou vhodnou segmentaci jednotlivých 3D objektů? Případně, jak by se segmentace dalo využít pro detekci změn?
Points proposed by reviewer: 90

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová