Master's Thesis

Statistical Modeling and Representation of the Operational Design Domain for Scenario Generation in Autonomous Driving Simulations

Final Thesis 6.83 MB Appendix 11.87 MB

Author of thesis: Ing. Erika Do

Acad. year: 2025/2026

Supervisor: Ing. Jiří Novák, Ph.D.

Reviewer: Ing. Tomáš Kašpárek, Ph.D.

Abstract:

This thesis presents an automated simulation pipeline to evaluate the safety boundaries of Automated Driving Systems (ADS) within defined Operational Design Domains (ODD). Leveraging real-world drone trajectory data from the \textit{exiD} dataset, the methodology extracts high-risk scenarios and executes them within the Esmini 3D physics engine using the OpenSCENARIO standard. The pipeline employs deterministic (Bisection) and heuristic (Real-Coded Genetic Algorithm) search methods to identify minimum spatial survival envelopes. Empirical evaluation across three real-world case studies reveals that human drivers frequently operate within mathematically invalid safety margins, particularly during complex multi-actor interactions such as lateral squeezes and dense-traffic merges. Computational benchmarking further demonstrates that the deterministic Bisection method converges significantly faster and with greater spatial precision than the evolutionary alternative, which proves susceptible to deceptive fitness landscapes in constrained geometric environments. Together, the results provide a transparent and verifiable architectural foundation for simulation-based homologation of autonomous vehicles.

Keywords:

Automated driving systems, operational design domain, scenario generation, Esmini, OpenSCENARIO, bisection search, genetic algorithm, exiD dataset, simulation-based testing.

Date of defence

22.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaCznamka

Grading

C

Process of defence

Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm C.

Topics for thesis defence

  1. Co vše by bylo nutné upravit k využití jiné datové sady než exiD?
  2. Proč analýza s pomocí genetického algoritmu přinesla identické výsledky jako prohledávání stavového prostoru půlením?
  3. Z jakého důvodu používáte pro řešení problému právě genetický algoritmus? Je tato metoda používána i v literatuře?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Cyberphysical Systems (NCPS)

Composition of Committee

prof. Ing. Jiří Jaroš, Ph.D. (předseda)
doc. Ing. Zdeněk Vašíček, Ph.D. (místopředseda)
doc. Ing. Ondřej Lengál, Ph.D. (člen)
Ing. Jiří Novák, Ph.D. (člen)
Ing. Josef Strnadel, Ph.D. (člen)
Ing. Vladimír Bartík, Ph.D. (člen)

Supervisor’s report
Ing. Jiří Novák, Ph.D.

In summary, the student completed all the points in the assignment.  However, many parts of the technical report are very diffiult to read and were most probably automatically edited. The theoretical part of the thesis is quite extensive, but many of the concepts presented are not used in any way in the implementation. Although the provided code can be used to process exiD dataset, thorough statistical analysis of the dataset or generation of other traffic configuration and search in the dataset was rather difficult. 

Evaluation criteria Verbal classification
Informace k zadání

This master's thesis focuses on the concept of the Operational Design Domain (ODD) for autonomous and advanced driver-assistance systems. The topic of the thesis was moderately challenging as it did not require any more advanced numerical concepts. The objectives defined in the assignment were successfully achieved. The resulting framework enables the automated extraction, generation, and evaluation of critical traffic scenarios based on real-world driving data (sourced from the exiD dataset). Although the thesis focused more on extraction of traffic scenario situations in form of kinemtaic trajectories and the statistical analysis of weather and road conditions was highly simplified in the final evaluations, basic concepts of the ODD were still used. Visualization of results converted to OpenScenario format were visualized in Esmini tool.

Aktivita při dokončování

The thesis was completed ahead of time with sufficient time to review the technical report.

Publikační činnost, ocenění

-

Práce s literaturou

The student appropriately researched the necessary literature and cited it correctly in the text.

Aktivita během řešení, konzultace, komunikace

The student was active and came prepared with questions for discussion. Both the form of technical report and results were communicated regularly. 

Points proposed by supervisor: 75

Grade proposed by supervisor: C

Reviewer’s report
Ing. Tomáš Kašpárek, Ph.D.

Téma vyhodnocení chování autonomních vozidel skrze virtuální validaci je aktuální téma, na kterém se dá jistě realizovat v různých oblastech od matematiky, přes modelování, simulace až po zpracování dat. Předložená práce bohužel nejde příliš do hloubky a i využití AI zde je spíše na škodu výsledné podobě. Na druhou stranu studentka zvládla v základní míře samostatně zpracovat dané téma a prokázala i další schopnosti, které se od záverečné práce pro inženýrské studium očekávají.

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno s drobnými výhradami

S ohledem na název práce bych očekával, že statistické metody budou využity v celé práci. Po prokázání toho, že doposud nebyl statistický přístup pro modelování ODD více rozpracován, je však další práce zcela prosta jakéhokoliv zapojení statistických metod do dalších kroků. Dle bodů zadání to však explicitně požadováno není.

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Technická zpráva je obvyklého rozsahu.

Prezentační úroveň technické zprávy

Předložený text je evidentně silně upravován s pomocí nástrojů AI a obsahuje významné množství subjektivních, výplňových a netechnických pasáží. Při rešerši i návrhu vlastního řešení mi zcela chybí diagramy popisovaných systémů, takže orientace je pro čtenáře velmi obtížná.

70
Formální úprava technické zprávy

Některé obrázky a grafy jsou v tištěné podobě hůře čitelné kvůli velikosti písma nebo zvolenému barevnému schématu. V některých částech je text členěn na velké množství malých sekcí, coz ztežuje orientaci čtenáře.

80
Práce s literaturou

Pro citace jsou v textu využívány medializace namísto originálních zdrojů. V některých částech se mnohokrát opakuje citace jednoho nebo několika málo dokumentů bez konkrétní vazby na jejich části, takže citace ztrácí smysl. U některých pojmů, metod či datových sad naopak refernce nebo alespoň přesné označení chybí. Postup validace výběru použitých standardů přes verifikace počtu jejich citací bez dalších srovnání mi příjde nestandardní.

75
Realizační výstup

Oceňuji snahu o modulární přístup k realizaci implementace. Chybí (např. jako příloha) přehled parametrů jednotlivých skriptů, takže je nutné dohledávat v kódu nebo v nápovědě po spuštění. Vzhledem k množství kontant bych preferoval jejich umístění do společného konfiguračního souboru společně s vysvětlujícím komentářem významu a vhodných rozsahů.

75
Využitelnost výsledků

Práce rozšířuje aktuální publikované výsledky demonstrací generování scénářů pro testování na základě skutečných dat pro zvýšení realističnosti testování a tím věrohodnosti jeho výsledků.

Náročnost zadání

Evaluation level: průměrně obtížné zadání

Statistické modelování operační návrhové obálky je aktuální téma, takže bylo nutné čerpat spíše z jednotlivých vědeckých článků a získané informace korektně propojit.

Topics for thesis defence:
  1. Proč analýza s pomocí genetického algoritmu přinesla identické výsledky jako prohledávání stavového prostoru půlením?
  2. Co vše by bylo nutné upravit k využití jiné datové sady než exiD?
Points proposed by reviewer: 75

Grade proposed by reviewer: C

Responsibility: Mgr. et Mgr. Hana Odstrčilová