Přístupnostní navigace
E-application
Search Search Close
Master's Thesis
Author of thesis: Ing. David Chocholatý
Acad. year: 2024/2025
Supervisor: Ing. Radek Hranický, Ph.D.
Reviewer: Ing. Kamil Jeřábek, Ph.D.
Simulation of the believable human interaction can strengthen the application of the large language models (LLMs) in computational social sciences. Especially for experiments in interpersonal communication using modeling tools. In this work, a PerSimChat framework is designed that provides an experimental environment for simulating multi-human conversations using LLM agents with real-world persona data. Simultaneously, a new approach for selecting the order of the agent's speech called One-by-One Talk with Agent’s Need to Talk is introduced. Empirical studies demonstrate the framework's performance on many evaluation scenarios, beating the baseline solutions on the dimensions of believability, credibility, content depth, and relevance. The system achieves competitive results with other multi-agent debate systems on commonsense and mathematical benchmarks. In addition, this thesis provides a demonstration web application for creating simulations and running variety of scenarios.
Agent-Based Modeling and Simulation, Multi-Agent Debate (MAD), Large Language Models (LLMs), LLM-to-LLM interaction, Computational Social Science (CSS), Simulation of Human Conversation, Human Brain
Date of defence
26.06.2025
Result of the defence
Defended (thesis was successfully defended)
Grading
A
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Topics for thesis defence
Language of thesis
English
Faculty
Fakulta informačních technologií
Department
Department of Information Systems
Study programme
Information Technology and Artificial Intelligence (MITAI)
Specialization
Machine Learning (NMAL)
Composition of Committee
doc. Ing. Lukáš Burget, Ph.D. (předseda) prof. Dr. Ing. Jan Černocký (člen) doc. Ing. Vladimír Janoušek, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. Jaroslav Rozman, Ph.D. (člen) Ing. František Grézl, Ph.D. (člen)
Supervisor’s reportIng. Radek Hranický, Ph.D.
Pan Chocholatý vytvořil inovativní systém pro multiagentní konverzaci založený na LLM s důrazem na věrohodnost a přirozenost dialogu. Toto netriviální řešení zohledňuje jednak profil každého agenta, jednak implementuje několik kognitivních modulů (např. paměť, reflexe, plánování, akce), které autor sám navrhl. Přínos vytvořeného řešení student experimentálně ověřil vícero způsoby, včetně dotazování reálných respondentů a srovnání s existujícími systémy.
Nad rámec zadání student vytvořil webovou aplikaci s přívětivým rozhraním pro ovládání simulátoru. Dále dílo již v průběhu letního semestru integroval do podnikového řešení společnosti Lakmoos.
S ohledem na vynikající aktivitu studenta, úroveň vytvořeného řešení, vědecký přínos a publikační činnost navrhuji hodnocení stupněm „A“.
Dle mého názoru se jedná o výjimečně kvalitní práci s interdisciplinárním přesahem do oblasti lidské psychologie. V případě, že oponent bude obdobného názoru a student předvede kvalitní obhajobu, doporučuji komisi zvážit návrh na adekvátní ocenění.
Jednalo se o firemní zadání pro společnost Lakmoos AI, s.r.o. Cílem práce bylo vytvořit experimentální simulátor mezilidského chování s využitím agentů na bázi umělé inteligence.
Téma bylo definováno poměrně volně, přičemž student zvolil takový způsob řešení, který vyžadoval nejen studium velkého množství literatury, ale též implementaci komplexního a netriviálního programátorského díla.
Práce byla dokončena ve výrazném předstihu před odevzdáním. Mé připomínky student následně zapracoval.
Pan Chocholatý publikoval svou práci na konferenci Excel at FIT, kde získal ocenění odborným panelem.
Je pravděpodobné, že z výsledků práce vznikne příspěvek na relevantní mezinárodní vědeckou konferenci, nebo do odborného časopisu.
Student využil doporučené literatury a samostatně si dohledal obrovské množství dalších relevantních zdrojů.
Aktivita pana Chocholatého byla vzorová. Dílčí pracovní činnosti dokončoval zpravidla v předstihu před dohodnutými termíny. Na schůzky docházel vždy výborně připraven. Řešení průběžně konzultoval jak s vedoucím, tak se zástupci společnosti Lakmoos.
Grade proposed by supervisor: A
Reviewer’s reportIng. Kamil Jeřábek, Ph.D.
Výsledek práce je rozsáhlý, kvalitní a funkční a bude použit firmou Lakmoos. Psaná část práce obsahuje všechny náležitosti a oceňuji snahu o vyhodnocení přístupu a srovnání výsledků navrženého agentního systému na různých testech. K psané mám spíše drobné výhrady, které byly výše zmíněny. Navrhuji hodnocení A.
Evaluation level: zadání splněno
Zadání bylo splněno navíc student implementoval webové rozhraní.
Evaluation level: přesahuje obvyklé rozmezí
Práce je rozsáhlá a je na hranici či spíše přesahuje obvvyklé rozmezí.
Práce je logicky strukturovaná a organizovaná do kapitol, které na sebe navazují. Práce však obsahuje velké množství textu, který čtenáře spíše zahlcuje a bylo by možné jej omezit za udržení či vylepšení informační hodnoty. Nicméně práce obsahuje a vysvětluje vše potřebné k pochopení problematiky a odvedené práce.
Práce je po typografické stránce v pořádku. Práce je psána v anglickém jazyce.
Práce obsahuje velké množství odborné a vědecké relevantní literatury.
Technické řešení je funkční a zdrojové kódy jsou kvalitní. Navíc bylo implementováno webové grafické rozhraní. Student demonstroval funkčnost práce. Výsledek práce je přejat firmou Lakmoos a výstup práce je dostupný veřejně k vyzkoušení. Výstup práce bude využit firmou Lakmoos.
Práce přináší zajímavé výsledky a byla úspěšně prezentována na studentské konferenci Excel@FIT.
Evaluation level: obtížnější zadání
Zadání hodnotím jako obtížnější vzhledem ke komplexnosti přístupu studenta k problému. Student musel nastudovat danou problematiku agentních systémů a LLM, přizpůsobit je řešenému problému a následně experimentálně vyhodnotit a provonat s existujícími řešeními což vzhledem k ne úplně typickému zaměření hodnotím jako náročné. Následně musel navrhnout a implementovat funkční systém.
Grade proposed by reviewer: A
Responsibility: Mgr. et Mgr. Hana Odstrčilová