Master's Thesis

A Training Simulator for Dispatchers with Gamification and the use of Large Pre-trained Language Models

Final Thesis 2.73 MB

Author of thesis: Ing. Michal Horejš

Acad. year: 2024/2025

Supervisor: RNDr. Marek Rychlý, Ph.D.

Reviewer: Ing. Vladimír Bartík, Ph.D.

Abstract:

This thesis addresses the challenge of effectively training Integrated Rescue System (IRS) operators by leveraging large language models and gamification elements. The goal was to design and implement an application that supports the management of simulated incidents, the collection of key performance metrics (response time, accuracy of attribute completion), and feedback through a scoring system. During development, a web application was created that uses a large pre‐trained language model to simulate the role of a civilian calling the emergency line, with whom the user interacts. Incident contexts are generated via integrations with external systems such as OpenStreetMap and the Czech Territorial Identification, Address, and Real Estate Register. The user's task is to extract critical incident information from the model’s responses and correctly enter it into the system. Finally, the user receives feedback through gamification features.

Keywords:

Information system, Java, Spring Boot, React, REST, gamification, large language models, simulation

Date of defence

25.06.2025

Result of the defence

Defended (thesis was successfully defended)

znamkaCznamka

Grading

C

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C.

Topics for thesis defence

  1. Jak byste postupoval dále při trénování jazykového modelu, aby jeho výstupy byly ještě o něco lepší?
  2. Jakým způsobem je vyhodnocována správnost činnosti operátora při využívání simulátoru?
  3. Jaký reálný problém vaše aplikace řeší?
  4. Jakým způsobem ověřujete, že umělá inteligence odpovídá způsobem, který se podobá skutečným lidem ve vysoce stresových situacích? Jakou metriku jste použil? Byly odpovědi posouzeny experty z oboru?

Language of thesis

Czech

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Software Engineering (NSEN)

Composition of Committee

doc. RNDr. Pavel Smrž, Ph.D. (předseda)
doc. RNDr. Jitka Kreslíková, CSc. (člen)
doc. Ing. Petr Matoušek, Ph.D., M.A. (člen)
Ing. Vladimír Bartík, Ph.D. (člen)
Ing. Aleš Smrčka, Ph.D. (člen)
Ing. Vojtěch Mrázek, Ph.D. (člen)

Supervisor’s report
RNDr. Marek Rychlý, Ph.D.

Aktivitu studenta během řešení považuji spíše za průměrnou a navrhuji hodnotit práci na horní hranici stupně dobře (C).

Evaluation criteria Verbal classification
Informace k zadání

Cílem práce bylo navrhnout a implementovat nástroj pro trénování dispečerů IZS v procesech zpracování incidentů s využitím LLM. Jednalo se o středně obtížné implementačně zaměřené zadání s praktickým využitím. Zadání považuji za splněné.

Aktivita při dokončování

Práce byla dokončena včas a výsledky byly dostatečně konzultovány.

Publikační činnost, ocenění

Bez publikací či ocenění.

Práce s literaturou

Student samostatně vyhledal a prostudoval relevantní literaturu.

Aktivita během řešení, konzultace, komunikace

Během řešení student postup práce i dílčí výsledky průběžně konzultoval a všechny dohodnuté termíny dodržel.

Points proposed by supervisor: 79

Grade proposed by supervisor: C

Reviewer’s report
Ing. Vladimír Bartík, Ph.D.

Jak již bylo uvedeno výše, jde o komplexní diplomovou práci s výsledkem, na kterém je možné dále pracovat a výhledově ho používat pro trénování operátorů. Technická zpráva je také kvalitní. Navrhuji proto hodnocení stupněm B (velmi dobře). 

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Všechny body zadání byly splněny. 

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Prezentační úroveň technické zprávy

Technická zpráva je napsána srozumitelně a má celkově dobrou strukturu kapitol. Lehce matoucí je pouze notace použitá v diagramu struktury databáze, ale díky popisu, který objasní význam tabulek, nejde o zásadní nedostatek. V kapitolách popisujících technologie by  nebylo špatné vždy udělat závěr, které technologie a proč se nakonec použijí. Nicméně z kapitoly o implementaci toto také lze odvodit. Po obsahové stránce tedy v textu nic podstatného nechybí. 

85
Formální úprava technické zprávy

K typografické stránce nemám větší výhrady, jazyková úroveň samotného textu je také spíše nadstandardní, jen místy se vyskytne v textu drobná chyba. Jediným opravdu viditelným nedostatkem jsou dva obrázky otočené o 90 stupňů. Také však jde spíše o drobný nedostatek. 

82
Práce s literaturou

K porušení citační etiky nedošlo, zdroje jsou v textu řádně citovány, vlastní výsledky studenta jsou řádně odlišeny. Drobné výtky se týkají pouze seznamu literatury, kde není správně formát u položky 13 a několikrát student cituje wikipedii, což není ideální. 

88
Realizační výstup

Výsledkem je simulátor tísňových volání, který pro generování volání využívá jazykové modely. Jazykový model zatím nepracuje ideálně, v některých případech je zjevné, že komunikuje stroj. Do budoucna tedy bude potřeba ještě lépe natrénovat model, ale to by asi mohl být námět na celou další diplomovou práci. Jinak je simulátor funkční a dokáže simulovat hovory a vyhodnocovat správnost úkonů operátora. 

90
Využitelnost výsledků

Výsledek diplomové práce je použitelný, k reálnému nasazení by bylo potřeba doladit jazykový model. Práce však měla sloužit především jako ověření konceptu, což zcela jistě splňuje. 

Náročnost zadání

Evaluation level: obtížnější zadání

Cílem diplomové práce bylo vytvoření aplikace, která bude sloužit operátorům tísňových linek jako tréninkový simulátor reálných volání. Cílem je tedy trénink komunikace s volajícím a reakcí na tyto situace. K tvorbě samotných volání je využit jazykový model. Porovnáno bylo několik takových modelů. Výsledkem je aplikace, která slouží především jako ověření použitelnosti tohoto konceptu. 

Topics for thesis defence:
  1. Jak byste postupoval dále při trénování jazykového modelu, aby jeho výstupy byly ještě o něco lepší?
  2. Jakým způsobem je vyhodnocována správnost činnosti operátora při využívání simulátoru?
Points proposed by reviewer: 84

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová