diplomová práce

Tréninkový simulátor pro dispečery s prvky gamifikace a využitím velkých předtrénovaných jazykových modelů

Text práce 2.73 MB

Autor práce: Ing. Michal Horejš

Ak. rok: 2024/2025

Vedoucí: RNDr. Marek Rychlý, Ph.D.

Oponent: Ing. Vladimír Bartík, Ph.D.

Abstrakt:

Tato práce se zabývá problematikou efektivního výcviku operátorů integrovaného záchranného systému využitím velkých jazykových modelů a prvků gamifikace. Cílem bylo navrhnout a implementovat aplikaci, která umožňuje správu simulovaných incidentů, sběr klíčových metrik (doba reakce, přesnost vyplnění atributů) a zpětnou vazbu formou bodování. V průběhu vývoje vznikla webová aplikace využívající velký předtrénovaný jazykový model, který simuluje roli civilisty volajícího na tísňovou linku a se kterým komunikuje uživatel aplikace. Kontext incidentů je tvořen pomocí integrací na externí systémy, jakými jsou Open Street Maps nebo Registr územní identifikace, adres a nemovitostí. Uživatel se následně snaží získat z modelu klíčové informace o incidentu a ty následně musí korektně vyplnit. Nakonec je uživateli poskytnuta zpětná vazba využitím prvků gamifikace.

Klíčová slova:

Informační systém, Java, Spring Boot, React, REST, gamifikace, velké jazykové modely, simulace

Termín obhajoby

25.06.2025

Výsledek obhajoby

obhájeno (práce byla úspěšně obhájena)

znamkaCznamka

Klasifikace

C

Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C.

Otázky k obhajobě

  1. Jak byste postupoval dále při trénování jazykového modelu, aby jeho výstupy byly ještě o něco lepší?
  2. Jakým způsobem je vyhodnocována správnost činnosti operátora při využívání simulátoru?
  3. Jaký reálný problém vaše aplikace řeší?
  4. Jakým způsobem ověřujete, že umělá inteligence odpovídá způsobem, který se podobá skutečným lidem ve vysoce stresových situacích? Jakou metriku jste použil? Byly odpovědi posouzeny experty z oboru?

Jazyk práce

čeština

Fakulta

Ústav

Studijní program

Informační technologie a umělá inteligence (MITAI)

Specializace

Softwarové inženýrství (NSEN)

Složení komise

doc. RNDr. Pavel Smrž, Ph.D. (předseda)
doc. RNDr. Jitka Kreslíková, CSc. (člen)
doc. Ing. Petr Matoušek, Ph.D., M.A. (člen)
Ing. Vladimír Bartík, Ph.D. (člen)
Ing. Aleš Smrčka, Ph.D. (člen)
Ing. Vojtěch Mrázek, Ph.D. (člen)

Posudek vedoucího
RNDr. Marek Rychlý, Ph.D.

Aktivitu studenta během řešení považuji spíše za průměrnou a navrhuji hodnotit práci na horní hranici stupně dobře (C).

Kritérium hodnocení Slovní hodnocení
Informace k zadání

Cílem práce bylo navrhnout a implementovat nástroj pro trénování dispečerů IZS v procesech zpracování incidentů s využitím LLM. Jednalo se o středně obtížné implementačně zaměřené zadání s praktickým využitím. Zadání považuji za splněné.

Aktivita při dokončování

Práce byla dokončena včas a výsledky byly dostatečně konzultovány.

Publikační činnost, ocenění

Bez publikací či ocenění.

Práce s literaturou

Student samostatně vyhledal a prostudoval relevantní literaturu.

Aktivita během řešení, konzultace, komunikace

Během řešení student postup práce i dílčí výsledky průběžně konzultoval a všechny dohodnuté termíny dodržel.

Výsledný počet bodů navržený vedoucím: 79

Známka navržená vedoucím: C

Jak již bylo uvedeno výše, jde o komplexní diplomovou práci s výsledkem, na kterém je možné dále pracovat a výhledově ho používat pro trénování operátorů. Technická zpráva je také kvalitní. Navrhuji proto hodnocení stupněm B (velmi dobře). 

Kritérium hodnocení Slovní hodnocení Body
Rozsah splnění požadavků zadání

Stupeň hodnocení: zadání splněno

Všechny body zadání byly splněny. 

Rozsah technické zprávy

Stupeň hodnocení: je v obvyklém rozmezí

Prezentační úroveň technické zprávy

Technická zpráva je napsána srozumitelně a má celkově dobrou strukturu kapitol. Lehce matoucí je pouze notace použitá v diagramu struktury databáze, ale díky popisu, který objasní význam tabulek, nejde o zásadní nedostatek. V kapitolách popisujících technologie by  nebylo špatné vždy udělat závěr, které technologie a proč se nakonec použijí. Nicméně z kapitoly o implementaci toto také lze odvodit. Po obsahové stránce tedy v textu nic podstatného nechybí. 

85
Formální úprava technické zprávy

K typografické stránce nemám větší výhrady, jazyková úroveň samotného textu je také spíše nadstandardní, jen místy se vyskytne v textu drobná chyba. Jediným opravdu viditelným nedostatkem jsou dva obrázky otočené o 90 stupňů. Také však jde spíše o drobný nedostatek. 

82
Práce s literaturou

K porušení citační etiky nedošlo, zdroje jsou v textu řádně citovány, vlastní výsledky studenta jsou řádně odlišeny. Drobné výtky se týkají pouze seznamu literatury, kde není správně formát u položky 13 a několikrát student cituje wikipedii, což není ideální. 

88
Realizační výstup

Výsledkem je simulátor tísňových volání, který pro generování volání využívá jazykové modely. Jazykový model zatím nepracuje ideálně, v některých případech je zjevné, že komunikuje stroj. Do budoucna tedy bude potřeba ještě lépe natrénovat model, ale to by asi mohl být námět na celou další diplomovou práci. Jinak je simulátor funkční a dokáže simulovat hovory a vyhodnocovat správnost úkonů operátora. 

90
Využitelnost výsledků

Výsledek diplomové práce je použitelný, k reálnému nasazení by bylo potřeba doladit jazykový model. Práce však měla sloužit především jako ověření konceptu, což zcela jistě splňuje. 

Náročnost zadání

Stupeň hodnocení: obtížnější zadání

Cílem diplomové práce bylo vytvoření aplikace, která bude sloužit operátorům tísňových linek jako tréninkový simulátor reálných volání. Cílem je tedy trénink komunikace s volajícím a reakcí na tyto situace. K tvorbě samotných volání je využit jazykový model. Porovnáno bylo několik takových modelů. Výsledkem je aplikace, která slouží především jako ověření použitelnosti tohoto konceptu. 

Otázky k obhajobě:
  1. Jak byste postupoval dále při trénování jazykového modelu, aby jeho výstupy byly ještě o něco lepší?
  2. Jakým způsobem je vyhodnocována správnost činnosti operátora při využívání simulátoru?
Výsledný počet bodů navržený oponentem: 84

Známka navržená oponentem: B

Odpovědnost: Mgr. et Mgr. Hana Odstrčilová