Master's Thesis

Virtual testing of ADAS in a statistically defined operational design domain

Final Thesis 15.84 MB

Author of thesis: Bc. Vít Mořkovský

Acad. year: 2025/2026

Supervisor: Ing. Jiří Novák, Ph.D.

Reviewer: Ing. Tomáš Kašpárek, Ph.D.

Abstract:

This thesis focuses on a methodology for generating scenarios used in the virtual testing of advanced driver assistance systems. The proposed scenario generator was implemented and connected to the IPG CarMaker simulation environment. In this environment, the methodology was then validated using a custom-developed simplified automatic emergency braking system, with the aim of identifying critical situations leading to its failure. The reference scenarios were inspired by the NCAP methodology from 2025 and extended with selected environmental and vehicle parameters. The parameters with the greatest influence on the tested system were selected using the Morris sensitivity analysis.
Three scenario generation methods were implemented in this thesis: a method based on a regular parameter grid, a Monte Carlo method using parameter distributions described by a Gaussian Mixture Model, and an adaptive method using Bayesian optimization with a Gaussian process surrogate model. The results show that the adaptive approach enables the identification of critical scenarios even with a reduced number of required simulations compared to a regular exploration of the entire parameter space.

Keywords:

Advanced Driver Assistance System, Automatic Emergency Braking, Operational Design Domain, Virtual Testing, Scenario Generation, IPG CarMaker, Gaussian Mixture Model, Morris Method, Adaptive Scenario Generation, Bayesian Optimization, Surrogate Model, Acquisition Function

Date of defence

22.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Bylo by s ohledem na architekturu vašeho řešení možné pro rozsáhlejší soubor testů využít distribuci úloh ve výpočetním clusteru?
  2. Bylo by možné váš systém napojit na testování typu HIL (HW-in-the-loop) nebo VIL (vehicle-in-the-loop)?
  3. Uvažoval jste při testování srážku i s jinými menšími zvířaty než jsou koně?
  4. Bylo by možné do sytému zakomponovat i neobrazové vstupy jako například radar nebo lidar?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Cyberphysical Systems (NCPS)

Composition of Committee

prof. Ing. Jiří Jaroš, Ph.D. (předseda)
doc. Ing. Zdeněk Vašíček, Ph.D. (místopředseda)
doc. Ing. Ondřej Lengál, Ph.D. (člen)
Ing. Jiří Novák, Ph.D. (člen)
Ing. Josef Strnadel, Ph.D. (člen)
Ing. Vladimír Bartík, Ph.D. (člen)

Supervisor’s report
Ing. Jiří Novák, Ph.D.

In summary, the student successfully completed all objectives of the thesis and significantly exceeded expectations in both the theoretical depth and practical implementation of the proposed methods. The work demonstrates a high level of independence, technical expertise, and research capability. The developed methodologies and experimental framework have strong practical relevance for the validation of Advanced Driver Assistance Systems and contribute valuable insights to the field of safety validation for autonomous driving. The quality of the thesis, the complexity of the addressed problem, and the achieved results clearly surpass the standard requirements for a master’s thesis. Therefore, I  recommend the thesis for the Dean’s Award.

Evaluation criteria Verbal classification
Informace k zadání

The topic of this master’s thesis is highly demanding, with a theoretical framework that goes beyond the knowledge typically acquired during the course of study. All objectives were successfully achieved and, in most aspects, exceeded expectations. The thesis also builds on the currently active research project Multi-modal Validation System Simulator for Autonomous Driving supported by the Technology Agency of the Czech Republic.

The student successfully applied concepts of surrogate modeling and Bayesian optimization to implement a method that drastically reduces the number of required scenarios needed for safety validation of Advanced Driver Assistance Systems (ADAS) by applying an adaptive scenario selection method and a screening method to detect influential factors that have to be part of the testing process. The work additionally incorporated statistical models of adverse weather conditions, allowing the proposed framework to evaluate the robustness of the investigated systems under realistic environmental influences.

For this purpose, the student also developed a custom Autonomous Emergency Braking (AEB) system including both detection and control logic in co-simulation with the IPG CarMaker engine, which served as a mock-up to demonstrate the benefits of the adaptive scenario selection algorithm and the screening method. The student thoroughly tested the developed methods on a number of relevant scenarios. I also appreciate that the thesis was written in English.

Aktivita při dokončování

The thesis was completed ahead of time and both technical and formal details were consulted before the final submission.

Publikační činnost, ocenění

The student took part of the Excel@FIT 2026 conference and received recognition by an expert panel. The student is also a co-author of an accepted paper Bayesian Multi-Fidelity Scenario Exploration for Advanced Driver Assistance Systems Safety Validation submitted to the IEEE International Conference on Intelligent Transportation Systems (ITSC) 2026. I recommend the student to take part of other relevant student competitions.

Práce s literaturou

The student appropriately researched the necessary literature and cited it correctly in the text.

Aktivita během řešení, konzultace, komunikace

Consultations took place regularly. The student was active and came prepared with questions for discussion. Both the form of technical report and results were communicated regularly and helped to ensure high quality of the resulting thesis.

Points proposed by supervisor: 100

Grade proposed by supervisor: A

Reviewer’s report
Ing. Tomáš Kašpárek, Ph.D.

Zpracování textové i programové části diplomové práce považuji za vysoce nadprůměrné. Hlavní přínos vidím v navržené metodě pro tvorbu testovacích scénářů umožňující statisticky definované pokrytí celého ODD a zároveň výraznou redukci požadovaného počtu provedených testů. I s ohledem na zapojení do několika výzkumných projektů již během magisterského studia mohu jen doporučit pokračování ve studiu doktorském.


Studenta navrhuji ocenit cenou děkana za vynikající diplomovou práci.

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno a práce obsahuje podstatná rozšíření

Práce nad rámec zadání realizovala velmi užitečné virtuální dvojče kamerového systému pro ADAS funkce.

Rozsah technické zprávy

Evaluation level: přesahuje obvyklé rozmezí

Práce přesahuje obvyklé rozmezí, což je dáno především detailním zpracováním jednotlivých částí.

Prezentační úroveň technické zprávy

Jednotlivé kapitoly čtenáře velmi dobře vedou postupným popisem řešeného problému, návrhem i implementací realizační části.

99
Formální úprava technické zprávy

Formální zpracování práce, typografie i jazyková stránka jsou zcela bez výhrad.

99
Práce s literaturou

S ohledem na zaměření práce oceňuji vyvážený poměr a vhodný výběr jak vědeckých článků pro teoretickou část, tak praktičtěji zaměřených materiálů a standardů z oblasti automobilového průmyslu. Oba druhy se vhodně doplňují.

95
Realizační výstup

Vytvořené programové dílo má vhodně navrženou architekturu, využívá distribuovaného zpracování umožňující využití více uzlů (simulační prostředí, virtuální dvojče senzorů atd.). V práci je popsána verifikace a testování celého balíku. Za velmi přínosné považuji též srovnání s průmyslovými standardy (NCAP).

99
Využitelnost výsledků

Práce rozšiřuje publikované výsledky testování ADAS systémů o práci s pravděpodobnostním vstupem definice návrhové obálky. Výstupy projektu byli již během práce integrovány do běžícího výzkumného projektu TAČR a našly tak konkrétní uplatnění nad rámec diplomové práce.

Náročnost zadání

Evaluation level: obtížnější zadání

Zadání považuji za obtížnější především s ohledem na nutnost netriviální práce s multidimenzionálními daty včetně bayesovského přístupu. Také realizace pro simulační platformu je netriviální.

Topics for thesis defence:
  1. Bylo by s ohledem na architekturu vašeho řešení možné pro rozsáhlejší soubor testů využít distribuci úloh ve výpočetním clusteru?
  2. Bylo by možné váš systém napojit na testování typu HIL (HW-in-the-loop) nebo VIL (vehicle-in-the-loop)?
Points proposed by reviewer: 99

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová