Student nastudoval relevantní literaturu k problematice AI agentů, agentních architektur, LLM systémů, automatizace podnikových procesů a použitých implementačních nástrojů. V práci vhodně kombinuje akademické zdroje s dokumentací prakticky použitých technologií, zejména n8n, LangChain a LangGraph. Zejména v oblasti AI agentů by mohlo být více různých zdrojů. Použitá literatura je však přiměřená tématu a poskytuje dostatečný teoretický základ pro následný návrh a implementaci.

V rámci práce vznikl použitelný AI agent, kterého lze bez většího prodlení nasadit do produkčního prostředí; nasazení samotné však před odevzdáním práce neproběhlo. Text práce byl konzultován sporadicky, ale dostatečně. Připomínky k definitivní podobě práce byly včas zapracovány.

Práce má celkově dobrou strukturu a čte se poměrně dobře. Pozitivně hodnotím formulaci výzkumných otázek, které jsou jasně definované a vhodně ukotvují experimentální část práce. Velmi dobře je zpracovaná i teoretická část, která systematicky postupuje přes jednotlivé informace a buduje čtenáři potřebný kontext.

Silnou stránkou práce je rovněž analýza a audit firemních procesů. Student vhodně identifikuje problematická místa a přemýšlí nad možnostmi automatizace. Současně mi zde ale chybí větší teoretické ukotvení použitých business analytických metod a auditních technik. V IT prostředí není podobná problematika příliš známá, a proto by bylo vhodné alespoň stručně vysvětlit, z jakých metodických přístupů autor vychází.

Podobně bych ocenil vizualizaci procesů popsaných v sekci 3.3. Některé části práce působí příliš textově a diagramy by zde výrazně pomohly čtenáři orientaci.

V práci je místy obtížné sledovat, co přesně je pouze návrh a co bylo skutečně implementováno. Například sekce 3.5 nejprve uvádí implementaci čtyř částí systému, zatímco předchozí text hovoří především o automatizaci e-mailové komunikace. Až později je zřejmé, že čtyři části představují návrhy možných automatizací a implementována byla pouze jedna z nich. Práce by zde profitovala z explicitnějšího oddělení návrhové a implementační části.

Práce místy trpí nekonzistentní návazností jednotlivých částí. Například explicitní mapování identifikovaných pain points na automation opportunity matrix není příliš zřejmé. Chatbot se například objevuje až v sekci 3.4 bez výraznějšího naznačení v předchozí analýze, proč právě tato automatizace představuje vhodné řešení.

V návrhové části oceňuji diagramy popisující jednotlivé automatizace. Jsou přehledné, dobře čitelné a přesně takto by podobné návrhové diagramy měly vypadat. Na druhou stranu například obr. 5.1 je prakticky nečitelný a kvůli příliš malému písmu není zřejmé, co si z něj má čtenář odnést.

Sekce 5.4 by podle mě více profitovala z diagramu komunikace jednotlivých komponent než z dlouhého textového popisu, který se čte poměrně obtížně.

Práce postupně ztrácí úroveň detailu. Teoretická část věnovaná agentům je velmi dobře zpracovaná, následně ale u business analýzy chybí teoretické pozadí a v implementačních kapitolách postupně mizí informace potřebné k přesnému pochopení fungování některých komponent. Typickým příkladem je e-mailový klasifikátor. V kapitole 5 je popsáno pouze to, co klasifikátor dělá, nikoli jak funguje. Až v sekci 6.2 se čtenář dozvídá, že je použit model GPT-4o-mini, ale stále chybí detailnější vysvětlení způsobu použití modelu, promptingu nebo vyhodnocení klasifikace.

Realizační výstup hodnotím jako nadprůměrný. Student správně uchopil návrh automatizačního systému a experimentální část obsahuje kvalitně zpracovanou metodologii, výzkumné otázky i nastavení experimentů. Celkový přístup k porovnání jednotlivých implementačních variant je nad rámec běžné studentské práce.

Současně zde ale zůstává několik nejasností. Není například zřejmé, jak vznikla testovací data pro klasifikátor a nakolik reprezentují reálný firemní provoz. Očekával bych využití reálných historických zákaznických e-mailů nebo alespoň jejich anonymizované podoby, aby bylo možné lépe simulovat produkční nasazení. Podobně by bylo vhodné využít i reálné odpovědi zaměstnanců pro evaluaci generovaných výstupů.

Testování je provedeno převážně nad syntetickými daty a není úplně jasné, do jaké míry odpovídají reálnému trafficu ve společnosti.

Otazníky mám také kolem bezpečnostní části práce. Není například jasné, z jakých existujících útoků nebo metodik vycházejí testy obrany proti prompt injection. Stejně tak není úplně zřejmé, jak je následně vyhodnocována odolnost systému vůči útokům bez reálného spuštění modelu.

Chybí mi také explicitní definice funkčních a nefunkčních požadavků na implementaci. Bez nich je poměrně obtížné přesně ověřit, zda systém splňuje všechny očekávané vlastnosti.

Pozitivně hodnotím, že si autor řadu těchto omezení uvědomuje a některé z připomínek explicitně zmiňuje v práci.

Evaluation level: zadání splněno

Zadání bylo splněno v požadovaném rozsahu. Student provedl analýzu procesů společnosti, identifikoval problematická místa a navrhl možnosti automatizace. Následně implementoval vybranou část systému a provedl experimentální porovnání různých přístupů.

Použité zdroje jsou převážně relevantní odborné publikace a literatura odpovídá tématu práce. Citace jsou založené zejména na odborných článcích a technické dokumentaci, což hodnotím pozitivně.

Na druhou stranu některá návrhová rozhodnutí nejsou dostatečně ukotvena v literatuře nebo alespoň v technické dokumentaci. Například použití limitu 8000 znaků jako ochranu proti prompt injection by si zasloužilo zdůvodnění nebo referenci.