Bakalářská práce Petra Kocicha se zabývá vytvořením pomocného výukového AI nástroje pro oblast elektroenergetiky.

Práce je složena z 5 hlavní částí, od přehledu současných významných chatbotů, krátký přehled aplikací chatbotů, výběr a nastavení vlastního chatbota a vyhodnocení validity odpovědí upraveného chatbota i v porovnání s vybranými chatboty. V úvodu se diplomant věnuje historii chatbotů a na ní navazuje popisem čtyř významných současných zástupců, a to ChatGPT, Gemini, Claude a LeChat. V kapitole 3 je krátce zmíněno využití AI ve veřejném sektoru v ČR a dále i zmiňuje rozsáhlou studii převážně provedenou evropskými veřejnoprávními médií k vyhodnocení validity odpovědí AI. V praktické části je následně popsán výběr chatbotu, který bude modifikován pro výukové účely, a dále jeho nastavení či výběr zdrojových dat. Dále v praktické části bylo provedeno na třech vybraných otázkách ze státní závěrečné zkoušky pro oblast elektroenergetiky vyhodnocení věrohodnosti a úplnost odpovědí i v porovnání s odpověďmi od tří obecně užívaných AI zástupců (ChatGPT, Gemini, Claude a LeChat). Závěr práce obsahuje následně celkové zhodnocení.

Hodnocení práce lze rozdělit na praktický výstup ve formě AI nástroje a samotnou bakalářskou práci. Z testování AI nástroje lze konstatovat, že vytvořené rozhraní sice v základu plní očekávané funkce, ale v případě hlubších dotazů, tak lze vidět limitace aplikace. Na druhou stranu v případě přímých otázek z rozsahu vstupních materiálů, tak se ukazuje, že nástroj v tomto užším rozsahu plní své zadání. U bakalářské práce lze konstatovat, že se snaží pokrýt jednotlivé části přípravy nástroje i validace výstupů, na druhou stranu lze práci vytknout balastní části, které nejsou pro samotné téma nezbytné, jako například šíře informací o Digitální a informační agentuře. Diplomant konzultoval pravidelně a na realizaci je vidět diplomantova snaha o dotažení nástroje do použitelného výstupu. Celkově kladně hodnotím přístup při výběru AI i samostatnost při realizaci tohoto nástroje.

Přes výše uvedené připomínky bakalářská práce splňuje všechny body zadání a je velmi dobře graficky zpracovaná, proto hodnotím 82 body.

Dále hodnotím navržený nástroj jako přínosný i jako možný základ pro budoucí nástroje podobného zaměření.

Otázky k obhajobě:
1. Jak je zajištěna trvalost a využitelnost AI nástroje po skončení bakalářské práce? Points proposed by supervisor: 82

Pan Kocich se ve své bakalářské práci zabývá vývojem výukového nástroje pro elektroenergetiku využívajícího umělou inteligenci – chatbotem postaveným na architektuře RAG nad studijními skripty FEKT VUT. Práce je členěna do šesti kapitol s úvodem.
Teoretická část (kapitoly 1 až 3) podává přehled vývoje chatbotů a současných velkých jazykových modelů a využití AI v praxi. Je čtivá a tématu přiměřená, místy však spíše popisná.

Těžiště a hlavní hodnota práce leží v realizaci vlastního chatbotu (kapitola 4). Student prokázal nezanedbatelné implementační dovednosti: zpracování formulemi a tabulkami nabitých skript pomocí vizuálního OCR modelu do strukturovaného formátu, rozdělení textu na bloky s metadaty, vytvoření vektorové znalostní báze, vyhledávacího mechanismu, uživatelského rozhraní i backendu, a to včetně omezení halucinací a s velmi nízkými provozními náklady.
Systém přistupuje přes API přímo k jazykovému modelu Mistral Large 3 a relevantní pasáže skript vkládá do kontextu dotazu. Vznikl funkční a prakticky využitelný nástroj, což je nejsilnější stránka práce.

Výhrady mám k vyhodnocovací části (kapitola 5), tvořící jádro bodu 4 zadání. Problémy jsou zejména ve vyhodnocování odpovědí a jejich kontrole. Jedná se čistě o subjektivní hodnocení bez slepého hodnocení. Navíc srovnání mezi Chatbotem RADIL-1, postaveném na platformě Mistral a LeChat, postaveném na téže platformě, je mírně řečeno problematické. K tomu se přidává malý rozsah testování (tři otázky) a nesourodé verze modelů (ChatGPT zdarma, Gemini PRO).

Kontrolní provoz nástroje potvrdil, že systém umí na věcný dotaz poskytnout strukturovanou a správnou odpověď s odkazem na zdroj. V jednom případě věrně reprodukoval i vzorec, který je chybně uveden přímo ve zdrojových skriptech – nástroj tedy pracoval korektně, ale chybu zdroje nerozpoznal, což dobře ilustruje principiální mez architektury RAG: její přesnost je dána kvalitou znalostní báze a strojově odpovídá pouze na dané tzv. „klíčové slovo“.

Na druhou stranu, model pracuje primárně právě s podkladovými texty, ale pokud nenachází správnou odpověď, případně není odpověď dohledatelná (vyzkoušeno na diskontní sazbě CAPM), nabídne odpověď „z venčí“.
Zároveň tyto dva příklady ilustrují koncepci modelu – pokud najdu, předložím řešení, aniž řeším správnost, pokud nenajdu, pak vezmu mimo nahrané rámce a ověřím.
Možnost zapnout režim „zkoušení“ je dobrý, ale až po probrání určité látky, jinak stroj začně „halucinovat“ – na dotaz "Ahoj", dostanu odpověď: „Bodové hodnocení…“

Po formální stránce je práce na dobré úrovni a čtivá.
Celkově jde o prakticky orientovanou práci s reálným a funkčním výstupem a nezanedbatelným implementačním přínosem, jejíž hodnotu snižuje neobjektivní a nevyvážené vyhodnocení, na němž stojí hlavní závěr práce. Práci doporučuji k obhajobě a hodnotím stupněm B – 85 bodů. Topics for thesis defence:

1. Hodnocení jste prováděl sám jako tvůrce jednoho z porovnávaných systémů. Jak byste navrhl nezávislé a objektivní vyhodnocení?
2. Jak zajišťujete čistotu znalostní báze a kontrolu správnosti odpovědí, aby se ke studentovi nedostal neoborový obsah nebo vnitřně rozporný vzorec podložený zdánlivým odkazem na skripta?

Points proposed by reviewer: 85