Master's Thesis

Radar–Camera Fusion on Edge Devices for Robust Object Detection

Final Thesis 15.76 MB Appendix 4.15 MB

Author of thesis: Ing. Daniel Žárský

Acad. year: 2025/2026

Supervisor: Ing. Svetozár Nosko, Ph.D.

Reviewer: prof. Dr. Ing. Pavel Zemčík, dr. h. c.

Abstract:

This thesis addresses the reliable detection of objects using a fusion of millimeter-wave radar and cameras. It examines current relevant approaches to object detection in space, using cameras, radar, and both modalities simultaneously. The reader will be introduced to methods for robust detection under degraded visibility conditions and to the challenges of deploying the resulting solution on edge devices. The thesis presents an innovative architecture for radar-camera fusion, combining insights from current state-of-the-art solutions with practical deployability and computational efficiency. An ablation study is presented alongside an evaluation of the resulting architecture's efficiency on a resource-constrained device. The resulting architecture outperforms an established camera-only baseline model in 3D object detection accuracy and a relevant camera-radar model in inference speed.

Keywords:

Radar-Camera fusion, feature fusion, 3D object detection, robust detection, 3D object detection on edge-device

Date of defence

23.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. The results of the proposed methods could certainly be improved. What do you think is the best way to improve, for example, mAP, regardless of the computational performance?
  2. In the text of the thesis you mention "latency", but it is not fully evaluated (except for figures in Table 6.2). What is the latency in the proposed system, for example, "from the occurrence of an object" through its processing by the camera and radar to "its detection"?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Machine Learning (NMAL)

Composition of Committee

doc. Ing. Vítězslav Beran, Ph.D. (předseda)
prof. Ing. Hynek Heřmanský, Dr. Eng. (místopředseda)
doc. Ing. Ondřej Lengál, Ph.D. (člen)
doc. Ing. František Zbořil, Ph.D. (člen)
doc. Ing. Michal Bidlo, Ph.D. (člen)
RNDr. Marek Rychlý, Ph.D. (člen)

Supervisor’s report
Ing. Svetozár Nosko, Ph.D.

Navrhuji ohodnotit práci stupněm A. Důvodem je použití inovativního přístupu k návrhu a optimalizaci architektury pro fúzi radarových a obrazových dat. Rovněž si velmi cením práce studenta během celého roku. Student se dále zaměřil na netriviální oblast hardwarové akcelerace na platformě NVIDIA Jetson AGX Orin. S touto úlohou se student velmi dobře vypořádal, prozkoumal možnosti optimalizačních nástrojů a limitace cílového edge zařízení. Získané znalosti z obou oblastí vhodně spojil a vytvořil řešení, které dokáže v reálném čase s nízkou latencí detekovat objekty i za zhoršených podmínek. Na základě této práce byl po odevzdání vypracován příspěvek na studentskou konferenci PESW 2026 (Prague Embedded Systems Workshop). Výsledná práce je důsledné implementována a vyhodnocena. Navíc je napsaná v anglickém jazyce.

Evaluation criteria Verbal classification
Informace k zadání

Zvolené téma je vysoce aktuální a komplexní, přičemž student se rozhodl pro netriviální řešení založené na fúzi milimetrových radarů a kamer. Student propojil pokročilý návrh neuronových sítí inspirovaný state-of-the-art architekturami s technikami modelové komprese (pruning, kvantizace) pro optimalizaci na výpočetně omezených edge zařízeních.

Oceňuji důslednou práci s hardwarovou akcelerací pomocí TensorRT na architektuře NVIDIA Orin, stejně jako praktické zhodnocení trade-offu mezi latencí a přesností vůči referenčním modelům na datasetu nuScenes. Celkově hodnotím diplomovou práci jako obtížnou, propojující pokročilý computer vision s embedded nasazením.

Zadání práce bylo splněno ve všech bodech a jsem s výsledkem velmi spokojen.

Aktivita při dokončování

Práce byla dokončena v předstihu a byla dostatečně konzultována.

Publikační činnost, ocenění

Na základě práce byl po odevzdání vypracován příspěvek na studentskou konferenci PESW 2026 (Prague Embedded Systems Workshop).

Práce s literaturou

Student samostatně vyhledal a využil velké množství studijních materiálů a relevantních vědeckých prací potřebných pro úspěšné zpracování práce.

Aktivita během řešení, konzultace, komunikace

Student pracoval samostatně a pravidelně se účastnil konzultací. Byl aktivní po celý rok. Na konzultace chodil vždy řádně připraven a projevoval zájem o danou problematiku.

Points proposed by supervisor: 92

Grade proposed by supervisor: A

In my opinion, this is an excellent work overall. A very strong point is the implementation part of the work, where the student did a really nice job. The text of the work is also nice, which is why I give it an overall grade of excellent (A).

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

The assignment was, in my opinion, completely fulfilled.

Rozsah technické zprávy

Evaluation level: přesahuje obvyklé rozmezí

The text of the thesis has 70 typed pages (with 72 appendices) and its scope, in my opinion, slightly exceeds the usual range.

Prezentační úroveň technické zprávy

The presentation level of the work is excellent. The structure of the chapters is correct and the chapters follow each other well. Minor shortcomings can be seen in the Introduction and the Conclusion, where the literature is cited quite unusually and moreover in the Introduction too much space (more than half) is devoted to the structure of the work.

90
Formální úprava technické zprávy

In terms of form, the work is excellently done. I consider the texts in the figures to be generally too small, which are very difficult to read (for example 2.3, 2.10), but also the pictures with photographs that are too small, in which not much can be seen (for example 2.8, 2.9) and the small graphs (for example 5.2) to be minor shortcomings.

95
Práce s literaturou

The literature sources are generally chosen correctly and there is a reasonable amount of them (actually rather average, 53 references in total). Unfortunately, not all references are in the correct form. For example, reference [7] and others are incomplete (the publisher and place of publication are missing), a number of references, for example [2] are to preprints in Arxiv, which is not the most appropriate, etc., some references, for example [8], are in a completely inappropriate format (CORPORATION is probably not the author).

80
Realizační výstup

The implementation output of the work is successful and functional and present a valuable experimental work, as I witnessed during the presentation of the experimental work (while, of course, the actual results of detection could always improve). The results are compared with the state of the art in the world. Their interpretation could perhaps have been done in more detail.

99
Využitelnost výsledků

I believe that the results are usable in practice, after some refinement they could become part of a product with an embedded system, and they can certainly be used as a basis for further research.

Náročnost zadání

Evaluation level: obtížnější zadání

This was, in my opinion, a rather difficult assignment that required a relatively large amount of self study and an extensive amount of experimental work from the student. It focused on the fusion of image data and point cloud data from microwave radar.

Topics for thesis defence:
  1. The results of the proposed methods could certainly be improved. What do you think is the best way to improve, for example, mAP, regardless of the computational performance?
  2. In the text of the thesis you mention "latency", but it is not fully evaluated (except for figures in Table 6.2). What is the latency in the proposed system, for example, "from the occurrence of an object" through its processing by the camera and radar to "its detection"?
Points proposed by reviewer: 91

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová