bakalářská práce

Využití transformátorů ke zpracování technické dokumentace

Text práce 2.55 MB

Autor práce: Bc. Dávid Bartuš

Ak. rok: 2024/2025

Vedoucí: doc. Ing. Petr Matoušek, Ph.D., M.A.

Oponent: Ing. Michal Rozsíval

Abstrakt:

Bakalárska práca skúma integráciu modelov Transformerov a Generovanie rozšírené o vyhľadávanie do nástroja určeného na efektívnu interakciu s technickou dokumentáciou. Jeho hlavná funkcia umožňuje používateľom klásť špecifické otázky a získať relevantné informácie z technickej dokumentácie. Nástroj využíva veľké jazykové modely, ako sú Gemini 2.5 a Llama 4. V práci je opísaný spôsob vývoja nástroja vrátane spôsobu výberu vektorovej databázy a ideálnych modelov a parametrov pre generovanie rozšírené o vyhľadávanie. Opisuje tiež, ako bol zostavený frontend a ako bol nástroj nasadený. Zahŕňa aj hodnotenie a porovnanie rôznych modelov so zameraním na ich účinnosť pri spracovaní technických dokumentov a zodpovedaní otázok s nimi súvisiacich.

Klíčová slova:

Veľké jazykové modely, Spracovanie prirodzeného jazyka, Generovanie rozšírené o vyhľadávanie, RAGAs, Technická dokumentácia

Termín obhajoby

20.06.2025

Výsledek obhajoby

obhájeno (práce byla úspěšně obhájena)

znamkaDznamka

Klasifikace

D

Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.

Otázky k obhajobě

  1. Bylo by možné ve Vašem řešení využít i slabší verze velkých jazykových modelů, například Llama 3.1:8b nebo 3.2:1b? Jaký by to mělo vliv na kvalitu odpovědí?
  2. Porovnával jste vytvořené řešení s nějakými existujícími nástroji pro dotazování nad soubory?
  3. Jak náročné by bylo rozšířit vytvořené řešení o podporu dalších souborových formátů, jako je například formát PDF?
  4. Prováděl jste i manuální ověřování?

Jazyk práce

angličtina

Fakulta

Ústav

Studijní program

Informační technologie (BIT)

Složení komise

prof. RNDr. Alexandr Meduna, CSc. (předseda)
Ing. Martin Hrubý, Ph.D. (člen)
Ing. Tomáš Milet, Ph.D. (člen)
Ing. Zbyněk Křivka, Ph.D. (člen)
Ing. Marcela Zachariášová, Ph.D. (člen)

Student splnil všechny body zadání. Text práce je značně nevyrovnaný a je složité zjistit, jak se výsledný nástroj chová. V práci postrádám příklady vyhledávání v technické dokumentaci, což bylo hlavní téma práce. Odevzdané řešení hodnotím stupněm D, 60 bodů.

Kritérium hodnocení Slovní hodnocení
Informace k zadání

Cílem BP bylo vytvořit aplikaci, která pomocí modelů LLM vyhledává  odpovědi administrátora v technické dokumentaci a provádí sumarizaci textu. Téma BP bylo vytvořeno ve spolupráci s firmou Flowmon Networks, která také dodala příklady technické dokumentace. 

Při řešení byl kladen důraz na ověření odpovědí s cílem vyloučit či minimalizovat nesprávné a zavádějící odpovědi. Pro vyhodnocení výstupů student zvolil automatizovaný systém RAGA, který počítá metriky typu věrnost (faithfulness), souvislost odpovědi (answer_relevancy) a další. Protože práce byla dokončována na poslední chvíli, neměl jsem možnost vidět výsledné řešení. Bohužel text neuvádí žádné příklady, jak se nástroj pro různé modely chová například v případě dotazování či sumarizaci textu.

Práce s literaturou

Student využíval doporučenou literaturu i dostupné internetové zdroje.

Aktivita během řešení, konzultace, komunikace

Aktivita studenta byla nepravidelná, na konzultace chodil výjimečně. Navržené řešení jsem neměl možnost vidět ani vyzkoušet.

Aktivita při dokončování

Finální verze nebyla před odevzdáním konzultována.

Publikační činnost, ocenění

Práce nebyla publikována.

Výsledný počet bodů navržený vedoucím: 60

Známka navržená vedoucím: D

Posudek oponenta
Ing. Michal Rozsíval

Programové řešení je funkční, zdokumentované a navíc využitelné v praxi. Slabou stránkou je však technická zpráva, která mohla být obsáhlejší a lépe strukturovaná. Ze samotného textu navíc nevyplývá studentem vynaložené úsilí, které však bylo při demonstraci řešení patrné, především v oblasti evaluace velkých jazykových modelů.

Kritérium hodnocení Slovní hodnocení Body
Náročnost zadání

Stupeň hodnocení: průměrně obtížné zadání

Cílem práce bylo využít modely hlubokého učení pro zpracování přirozeného jazyka, například pro sumarizaci textu nebo odpovídání na otázky nad dokumenty. Student si musel nastudovat metody pro předzpracování dokumentů, způsoby vytváření vektorových reprezentací textu, techniku generování rozšířeného o vyhledávání a další. Přestože tato témata nejsou součástí bakalářského studia, hodnotím zadání jako průměrně obtížné, jelikož student využíval již natrénované modely.

Prezentační úroveň technické zprávy

Vlastní technická dokumentace je nejslabší částí celé bakalářské práce. Témata v teoretické části mohla být podrobněji rozepsána a lépe propojena, což by pomohlo lépe pochopit následující postupy. V kapitole o návrhu a implementaci mohl autor místo uvedení signatur knihovních funkcí a úseků kódu věnovat více úsilí popisu vlastního řešení. Například mohl být popsaný účel zvolených meta-parametrů modelů nebo jednotlivých instrukcí pro velké jazykové modely. Obecně celá tato kapitola je napsána nešťastně, jelikož dochází k promíchaní návrhu a implementace.

V práci také dochází k následujícím nedostatkům:
- Nedostatečné popisy obrázků, a to i v rámci textu, kdy u mnohých obrázků dochází pouze k jejich odkázání bez nijakého vysvětlení, kvůli čemuž postrádá jejich použití smysl.
- Nedostatečný úvodní text (pod)kapitol, kvůli čemuž obsažené podkapitoly působí izolovaně a nevyplývá z nich jejich vzájemné propojení. Například úvod podkapitol 4.3 a 4.4 je v podstatě tvořen jen obrázkem.
- Popis nasazení vytvořeného řešení (podkapitola 5.3) je chybně uveden v kapitole o evaluaci.
- Podkapitola 5.1 je v podstatě tvořena pouze tabulkou.
- Téma o sémantickém porovnávání textu je rozdělené do podkapitol 2.3 (vektorová reprezentace) a 2.5.5 (kosinová podobnost), čímž se ztrácí jejich souvislost.

55
Formální úprava technické zprávy

Práce je psaná angličtinou průměrné úrovně. Autor však v určitých oblastech přechází do hovorové podoby (například „let's look at...“ nebo „let's use...“ na straně 4) a používá nesprávné gramatické tvary (například špatné sestavení infinitivní konstrukce na straně 24).

Z typografického hlediska obsahuje práce následující nedostatky:
- Samostatné členy („a“) na konci řádků.
- Přesahující text (například strana 24).
- Chybějící mezera před odkazem na referenci (strana 13).
- Špatné vysázený znak („ä“ na straně 14).
- Mezera před odkazem na poznámku pod čarou (například popisek obrázku 4.3).
- Nekonzistentní použití teček na konci odrážek v kapitole 4.3.2.
- Nevzhledně vysazená struktura kapitoly 4.3.2, ve které autor využívá kurzívu spolu se zanořením textu pro odlišení dalších úrovní podnadpisů, kvůli čemuž je tato část špatně srozumitelná.

62
Realizační výstup

Student v rámci vytvořené aplikaci umožňuje využití vybraných velkých jazykových modelů pro dotazování nad textovými soubory a jejich sumarizaci. Vybrané modely jsou podloženy obsáhlou a systematickou evaluací. Současně byla pro používání vytvořená webová stránka. Vytvořenou aplikaci je navíc možné odzkoušet i online, díky nasazení na Google Cloud. Zdrojový kód je dobře formátovaný a vhodně okomentovaný. Vytvořené řešení bylo studentem demonstrováno a je funkční.

84
Využitelnost výsledků

Vytvořené řešení je možné použít pro rychlou orientaci v rozsáhlých dokumentacích a pochopení jejich obsahu.

Rozsah splnění požadavků zadání

Stupeň hodnocení: zadání splněno

Rozsah technické zprávy

Stupeň hodnocení: splňuje pouze minimální požadavky

Technická zpráva má rozsah kolem 50 normostran, z nich však několik normostran tvoří přímo převzaté obrázky. Většina částí mohla být obsáhlejší, především pak kapitola o teorii nebo samotném návrhu a implementaci řešení.

Práce s literaturou

Práce obsahuje relevantní zdroje, jejich množství a použití v textu by však mohlo být lepší.

Dochází k nekonzistentnímu způsobu citování online zdrojů, kdy je většina citována v poznámce pod čarou, ale některé v seznamu literatury. Navíc například zdroj [10] je citován v seznamu literatury i v poznámce pod čarou na straně 13.

U některých použitých citací pak není zřejmé, jestli se cituje celá podkapitola, nebo jen konkrétní věta.

68
Otázky k obhajobě:
  1. Bylo by možné ve Vašem řešení využít i slabší verze velkých jazykových modelů, například Llama 3.1:8b nebo 3.2:1b? Jaký by to mělo vliv na kvalitu odpovědí?
  2. Porovnával jste vytvořené řešení s nějakými existujícími nástroji pro dotazování nad soubory?
  3. Jak náročné by bylo rozšířit vytvořené řešení o podporu dalších souborových formátů, jako je například formát PDF?
Výsledný počet bodů navržený oponentem: 65

Známka navržená oponentem: D

Odpovědnost: Mgr. et Mgr. Hana Odstrčilová