Přístupnostní navigace
E-přihláška
Vyhledávání Vyhledat Zavřít
diplomová práce
Autor práce: Ing. Michal Sova
Ak. rok: 2023/2024
Vedoucí: RNDr. Marek Rychlý, Ph.D.
Oponent: doc. Ing. Radek Burget, Ph.D.
Cílem této práce je seznámení se s podstatou a možným použitím velkých předtrénovaných jazykových modelů, seznámení se s možnostmi konfigurace klinického informačního systému FONS Enterprise a možnost jeho adaptace na konkrétní prostředí zákazníků. Práce nejprve představuje velké předtrénované jazykové modely a informační systém FONS Enterprise. Následně se zaměřuje na možnosti dotrénování modelů a implementaci metody RAG na datech z klinického systému. Implementace RAG architektury je realizována pomocí nástroje LangChain a LlamaIndex. Výsledky ukazují, že metoda RAG s modelem Gemma a embedding modelem bge-m3 poskytuje nejrelevantnější odpovědi, ale má potíže s porozuměním složitějších otázek. Metoda dotrénování modelu nepřináší očekávané výsledky, a to ani po úpravách parametrů trénování.
klinický informační systém, velké jazykové modely, velké předtrénované jazykové modely, architektura RAG, trénování jazykových modelů, Llama, Gemma, Mistral, LangChain, LlamaIndex
Termín obhajoby
18.06.2024
Výsledek obhajoby
obhájeno (práce byla úspěšně obhájena)
Klasifikace
D
Průběh obhajoby
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
Otázky k obhajobě
Jazyk práce
čeština
Fakulta
Fakulta informačních technologií
Ústav
Ústav informačních systémů
Studijní program
Informační technologie a umělá inteligence (MITAI)
Specializace
Inteligentní systémy (NISY)
Složení komise
doc. Ing. Vladimír Janoušek, Ph.D. (předseda) prof. Ing. Jiří Jaroš, Ph.D. (člen) Ing. Jaroslav Rozman, Ph.D. (člen) Ing. Vojtěch Mrázek, Ph.D. (člen) Ing. Martin Hrubý, Ph.D. (člen) Ing. Radek Kočí, Ph.D. (člen)
Posudek vedoucíhoRNDr. Marek Rychlý, Ph.D.
Celkově považuji aktivitu studenta při řešení práce za průměrnou a navrhuji hodnotit práci stupněm dobře (C).
Cílem bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů pro uživatelskou podporu při konfiguraci klinického informačního systému. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Zadání považuji za splněné.
Práce byla dokončena včas a její výsledná podoba byla dostatečně konzultována. Připomínky student zapracoval.
Bez publikací či ocenění.
Student samostatně vyhledal a nastudoval související literaturu.
Během řešení byl student aktivní a svůj postup pravidelně konzultoval. Prakticky zaměřené konzultace probíhaly také s průmyslovým partnerem. Na konzultacích byl student vždy dobře připraven a dohodnuté termíny dodržel.
Známka navržená vedoucím: C
Posudek oponentadoc. Ing. Radek Burget, Ph.D.
Pan Sova nastudoval několik dostupných jazykových modelů a dokázal je prakticky aplikovat ve specifickém prostředí, což je největším přínosem práce. Výsledná aplikace je funkční, avšak málo dokumentovaná, také k technické zprávě mám různé, výše uvedené výhrady. S přihlédnutím k vyšší obtížnosti zadání však navrhuji hodnotit práci celkově stupněm C.
Stupeň hodnocení: zadání splněno s drobnými výhradami
Zadání považuji za splněné s drobnou výhradou k bodu 4, kde integrace aplikace do klinického informačního systému je vyřešena jedním odkazem a testování, i když zjevně proběhlo, není v technické zprávě explicitně diskutováno.
Stupeň hodnocení: je v obvyklém rozmezí
Práce je svým rozsahem spíše na dolní hranici rozmezí obvyklého pro bakalářskou práci. Kapitoly pokrývající studijní etapu jsou přiměřeně rozsáhlé a podrobné, kapitoly věnované vlastnímu řešení jsou místy až příliš stručné, jak uvádím dále.
Technická zpráva obsahuje pěkně zpracovanou teoretickou část pokrývající nejvýznamnější současné velké jazykové modely a jejich principy, možnosti jejich přizpůsobení pro vlastní aplikační oblast a cílový informační systém FONS enterprise. Tyto části jsou přehledně strukturované, dostatečně podrobné a srozumitelné. V popisu vlastního řešení naopak poněkud postrádám definici cílů a předpokládaných scénářů nasazení velkých jazykových modelů. Vstupní datová sada je popsána na dvou řádcích v kapitole 6.1. Další kapitoly popisují experimenty s různými parametry modelů a nástrojů, bez stanovených cílů a ale tyto experimenty působí poněkud náhodně. Také kapitola věnovaná implementaci je poměrně krátká, základní představu však dává. Testování celého řešení vyplývá spíše z příkladů uváděných v textu a z odevzdaných datových souborů, explicitně diskutováno není.
Teoretická část práce je po jazykové i typografické stránce na dobré úrovni. V částech věnovaných trénování modelů a implementaci řešení lze narazit na drobné prohřešky. Zejména texty generované jazykovým modelem jsou vysázeny nejednotně a často nejsou dostatečně odděleny od vlastního textu autora, což může být pro čtenáře matoucí (např. str. 27).
Seznam použité literatury není příliš rozsáhlý a zdroje jsou v textu práce citovány spíše ojediněle. Podle jedné citace na začátku se zdá, že téměř celá část popisující jazykové modely čerpá z jediného zdroje [10], což zřejmě odpovídá realitě, explicitně deklarováno to ale není. Původ informací např. v kapitole 2.1.2 tak lze jen odhadovat.
Realizačním výstupem jsou skripty umožňující konfiguraci několika volně dostupných jazykových modelů, webová aplikace umožňující interakci s těmito modely a provedené experimenty. Také jsou odevzdány datové soubory s výsledky provedených experimentů. Ačkoliv co do rozsahu programového kódu se nejedná o příliš rozsáhlý výsledek, vzhledem k experimentální povaze použitých modelů a nástrojů a jejich časové i prostorové náročnosti lze konstatovat, že student zde odvedl velký kus práce. Výsledný nástroj je funkční a dává výsledky popsané v technické zprávě. Bohužel vlastní kód je velmi málo komentovaný a postrádám jakýkoliv návod nebo dokumentaci, která by umožnila vytvořené nástroje zprovoznit i dalším uživatelům.
Práce je experimentálního charakteru, dosažené výsledky ale mají praktický potenciál v podpoře uživatelů informačního systému.
Stupeň hodnocení: obtížnější zadání
Zadání předpokládá využití velkých jazykových modelů pro poskytování nápovědy při konfiguraci rozsáhlého informačního systému. Zadání hodnotím jako obtížnější vzhledem k nutně rozsáhlejší studijní etapě , která zahrnovala jak principy různých jazykových modelů, tak i praktické aspekty jejich nasazení a související nástroje.
Známka navržená oponentem: C
Odpovědnost: Mgr. et Mgr. Hana Odstrčilová