Přístupnostní navigace
E-přihláška
Vyhledávání Vyhledat Zavřít
diplomová práce
Autor práce: Ing. David Chocholatý
Ak. rok: 2024/2025
Vedoucí: Ing. Radek Hranický, Ph.D.
Oponent: Ing. Kamil Jeřábek, Ph.D.
Simulace věrohodné interakce mezi lidmi může posílit využití velkých jazykových modelů (LLM) v oblasti výpočetních sociálních věd. Zejména pro experimenty v mezilidské komunikaci s využitím modelovacích nástrojů. V této práci je navržen nástroj PerSimChat, který poskytuje experimentální prostředí pro simulaci konverzací více osob pomocí LLM agentů s daty o reálných lidech. Současně je představen nový přístup pro volbu pořadí řečí agentů nazvaný postupný rozhovor s potřebou agenta mluvit. Empirické studie prokazují výkonnost nástroje v mnoha scénářích hodnocení a překonávají porovnávaná řešení v dimenzích věrohodnosti, důvěryhodnosti, hloubky obsahu a relevance. Systém dosahuje konkurenceschopných výsledků s jinými debatními systémy s více agenty v oblasti zdravého rozumu a matematiky. Kromě toho tato práce poskytuje demonstrační webovou aplikaci pro vytváření simulací a spouštění různých scénářů.
agentově orientované modelování a simulace, multiagentní debata, velké jazykové modely, vzájemná interakce velkých jazykových modelů, výpočetní sociální vědy, simulace lidské konverzace, lidský mozek
Termín obhajoby
26.06.2025
Výsledek obhajoby
obhájeno (práce byla úspěšně obhájena)
Klasifikace
A
Průběh obhajoby
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Otázky k obhajobě
Jazyk práce
angličtina
Fakulta
Fakulta informačních technologií
Ústav
Ústav informačních systémů
Studijní program
Informační technologie a umělá inteligence (MITAI)
Specializace
Strojové učení (NMAL)
Složení komise
doc. Ing. Lukáš Burget, Ph.D. (předseda) prof. Dr. Ing. Jan Černocký (člen) doc. Ing. Vladimír Janoušek, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. Jaroslav Rozman, Ph.D. (člen) Ing. František Grézl, Ph.D. (člen)
Posudek vedoucíhoIng. Radek Hranický, Ph.D.
Pan Chocholatý vytvořil inovativní systém pro multiagentní konverzaci založený na LLM s důrazem na věrohodnost a přirozenost dialogu. Toto netriviální řešení zohledňuje jednak profil každého agenta, jednak implementuje několik kognitivních modulů (např. paměť, reflexe, plánování, akce), které autor sám navrhl. Přínos vytvořeného řešení student experimentálně ověřil vícero způsoby, včetně dotazování reálných respondentů a srovnání s existujícími systémy.
Nad rámec zadání student vytvořil webovou aplikaci s přívětivým rozhraním pro ovládání simulátoru. Dále dílo již v průběhu letního semestru integroval do podnikového řešení společnosti Lakmoos.
S ohledem na vynikající aktivitu studenta, úroveň vytvořeného řešení, vědecký přínos a publikační činnost navrhuji hodnocení stupněm „A“.
Dle mého názoru se jedná o výjimečně kvalitní práci s interdisciplinárním přesahem do oblasti lidské psychologie. V případě, že oponent bude obdobného názoru a student předvede kvalitní obhajobu, doporučuji komisi zvážit návrh na adekvátní ocenění.
Jednalo se o firemní zadání pro společnost Lakmoos AI, s.r.o. Cílem práce bylo vytvořit experimentální simulátor mezilidského chování s využitím agentů na bázi umělé inteligence.
Téma bylo definováno poměrně volně, přičemž student zvolil takový způsob řešení, který vyžadoval nejen studium velkého množství literatury, ale též implementaci komplexního a netriviálního programátorského díla.
Práce byla dokončena ve výrazném předstihu před odevzdáním. Mé připomínky student následně zapracoval.
Pan Chocholatý publikoval svou práci na konferenci Excel at FIT, kde získal ocenění odborným panelem.
Je pravděpodobné, že z výsledků práce vznikne příspěvek na relevantní mezinárodní vědeckou konferenci, nebo do odborného časopisu.
Student využil doporučené literatury a samostatně si dohledal obrovské množství dalších relevantních zdrojů.
Aktivita pana Chocholatého byla vzorová. Dílčí pracovní činnosti dokončoval zpravidla v předstihu před dohodnutými termíny. Na schůzky docházel vždy výborně připraven. Řešení průběžně konzultoval jak s vedoucím, tak se zástupci společnosti Lakmoos.
Známka navržená vedoucím: A
Posudek oponentaIng. Kamil Jeřábek, Ph.D.
Výsledek práce je rozsáhlý, kvalitní a funkční a bude použit firmou Lakmoos. Psaná část práce obsahuje všechny náležitosti a oceňuji snahu o vyhodnocení přístupu a srovnání výsledků navrženého agentního systému na různých testech. K psané mám spíše drobné výhrady, které byly výše zmíněny. Navrhuji hodnocení A.
Stupeň hodnocení: zadání splněno
Zadání bylo splněno navíc student implementoval webové rozhraní.
Stupeň hodnocení: přesahuje obvyklé rozmezí
Práce je rozsáhlá a je na hranici či spíše přesahuje obvvyklé rozmezí.
Práce je logicky strukturovaná a organizovaná do kapitol, které na sebe navazují. Práce však obsahuje velké množství textu, který čtenáře spíše zahlcuje a bylo by možné jej omezit za udržení či vylepšení informační hodnoty. Nicméně práce obsahuje a vysvětluje vše potřebné k pochopení problematiky a odvedené práce.
Práce je po typografické stránce v pořádku. Práce je psána v anglickém jazyce.
Práce obsahuje velké množství odborné a vědecké relevantní literatury.
Technické řešení je funkční a zdrojové kódy jsou kvalitní. Navíc bylo implementováno webové grafické rozhraní. Student demonstroval funkčnost práce. Výsledek práce je přejat firmou Lakmoos a výstup práce je dostupný veřejně k vyzkoušení. Výstup práce bude využit firmou Lakmoos.
Práce přináší zajímavé výsledky a byla úspěšně prezentována na studentské konferenci Excel@FIT.
Stupeň hodnocení: obtížnější zadání
Zadání hodnotím jako obtížnější vzhledem ke komplexnosti přístupu studenta k problému. Student musel nastudovat danou problematiku agentních systémů a LLM, přizpůsobit je řešenému problému a následně experimentálně vyhodnotit a provonat s existujícími řešeními což vzhledem k ne úplně typickému zaměření hodnotím jako náročné. Následně musel navrhnout a implementovat funkční systém.
Známka navržená oponentem: A
Odpovědnost: Mgr. et Mgr. Hana Odstrčilová