Práce se zabývá implementací systému typu RAG, což tematicky přesahuje standardní znalosti získané během bakalářského studia. Student si musel nastudovat základní principy fungování velkých jazykových modelů a jejich praktického nasazení. Současně se seznámil s moderními přístupy v oblasti vektorových databází, vyhledávání informací, rerankingu a metod vyhodnocování RAG systémů s využitím přístupu LLM as a judge.

Student navrhl a implementoval funkční RAG systém nad vybranou datovou sadou, pro kterou rovněž vygeneroval doplňující metadata vedoucí ke zlepšení kvality systému. Kvalita navrženého řešení byly experimentálně vyhodnoceny pomocí moderní metody Ragas.

Zadání práce považuji za splněné.

Student byl aktivní na začátku zimního semestru a během celého letního semestru. Během letního semestru svůj postup pravidelně konzultoval. Na konzultace byl připraven, práce postupovala průběžně a v rozumném tempu.

Práce byla prezentována na studentské konferenci Excel@FIT.

Evaluation level: more difficult assignment

Náročnost hodnotím jako obtížnější: práce vyžadovala nastudování a propojení RAG, datové přípravy, vektorové databáze, lokálních modelů, evaluace a interpretace výsledků. Náročnost spočívá hlavně v tom, že student musel tyto oblasti pochopit a integrovat do funkčního prototypu.

Formální rozsah je v pořádku. Práce působí místy méně pečlivě v drobnější typografii a v čitelnosti některých obrázků, nejde však o hlavní technickou slabinu.

Výsledek je využitelný hlavně jako demonstrátor a experimentační základ pro další vývoj RAG chatbota v cestovní doméně. Pro širší praktické použití by bylo potřeba doplnit lepší reprodukovatelnost experimentů, měření latence a ověření na širší sadě dotazů nebo uživatelů.

Evaluation level: is within the usual extent

Rozsah technické zprávy je v obvyklém rozmezí a struktura pokrývá teorii, návrh, implementaci, experimenty i závěr. Rozsah proto není samostatnou slabinou; slabší je spíše přesnost některých výsledkových interpretací.