Přístupnostní navigace
E-application
Search Search Close
Master's Thesis
Author of thesis: Ing. Michal Sova
Acad. year: 2023/2024
Supervisor: RNDr. Marek Rychlý, Ph.D.
Reviewer: doc. Ing. Radek Burget, Ph.D.
The aim of this work is to get acquainted with the essence and use of large pre-trained language models, to get acquainted with the configuration options of the clinical information system FONS Enterprise and the possibility of its adaptation to the specific environment of customers. The work first presents large pre-trained language models and the FONS Enterprise clinical information system. This work examines possibilities of training models and implementing RAG methods on data from the clinical system. The implementation of the RAG architecture is supported by the tools LangChain and LlamaIndex. The results show that the RAG method with the Gemma model and the bge-m3 embedding model provides the most relevant answers on basic questions, but struggles to understand more complex questions. The method of pre-training the model does not produce the expected results, even after adjusting the training parameters.
clinical information system, large language models, RAG architecture, pre-training, Llama, Gemma, Mistral, LangChain, LlamaIndex
Date of defence
18.06.2024
Result of the defence
Defended (thesis was successfully defended)
Grading
D
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
Topics for thesis defence
Language of thesis
Czech
Faculty
Fakulta informačních technologií
Department
Department of Information Systems
Study programme
Information Technology and Artificial Intelligence (MITAI)
Specialization
Intelligent Systems (NISY)
Composition of Committee
doc. Ing. Vladimír Janoušek, Ph.D. (předseda) prof. Ing. Jiří Jaroš, Ph.D. (člen) Ing. Jaroslav Rozman, Ph.D. (člen) Ing. Vojtěch Mrázek, Ph.D. (člen) Ing. Martin Hrubý, Ph.D. (člen) Ing. Radek Kočí, Ph.D. (člen)
Supervisor’s reportRNDr. Marek Rychlý, Ph.D.
Celkově považuji aktivitu studenta při řešení práce za průměrnou a navrhuji hodnotit práci stupněm dobře (C).
Cílem bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů pro uživatelskou podporu při konfiguraci klinického informačního systému. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Zadání považuji za splněné.
Práce byla dokončena včas a její výsledná podoba byla dostatečně konzultována. Připomínky student zapracoval.
Bez publikací či ocenění.
Student samostatně vyhledal a nastudoval související literaturu.
Během řešení byl student aktivní a svůj postup pravidelně konzultoval. Prakticky zaměřené konzultace probíhaly také s průmyslovým partnerem. Na konzultacích byl student vždy dobře připraven a dohodnuté termíny dodržel.
Grade proposed by supervisor: C
Reviewer’s reportdoc. Ing. Radek Burget, Ph.D.
Pan Sova nastudoval několik dostupných jazykových modelů a dokázal je prakticky aplikovat ve specifickém prostředí, což je největším přínosem práce. Výsledná aplikace je funkční, avšak málo dokumentovaná, také k technické zprávě mám různé, výše uvedené výhrady. S přihlédnutím k vyšší obtížnosti zadání však navrhuji hodnotit práci celkově stupněm C.
Evaluation level: zadání splněno s drobnými výhradami
Zadání považuji za splněné s drobnou výhradou k bodu 4, kde integrace aplikace do klinického informačního systému je vyřešena jedním odkazem a testování, i když zjevně proběhlo, není v technické zprávě explicitně diskutováno.
Evaluation level: je v obvyklém rozmezí
Práce je svým rozsahem spíše na dolní hranici rozmezí obvyklého pro bakalářskou práci. Kapitoly pokrývající studijní etapu jsou přiměřeně rozsáhlé a podrobné, kapitoly věnované vlastnímu řešení jsou místy až příliš stručné, jak uvádím dále.
Technická zpráva obsahuje pěkně zpracovanou teoretickou část pokrývající nejvýznamnější současné velké jazykové modely a jejich principy, možnosti jejich přizpůsobení pro vlastní aplikační oblast a cílový informační systém FONS enterprise. Tyto části jsou přehledně strukturované, dostatečně podrobné a srozumitelné. V popisu vlastního řešení naopak poněkud postrádám definici cílů a předpokládaných scénářů nasazení velkých jazykových modelů. Vstupní datová sada je popsána na dvou řádcích v kapitole 6.1. Další kapitoly popisují experimenty s různými parametry modelů a nástrojů, bez stanovených cílů a ale tyto experimenty působí poněkud náhodně. Také kapitola věnovaná implementaci je poměrně krátká, základní představu však dává. Testování celého řešení vyplývá spíše z příkladů uváděných v textu a z odevzdaných datových souborů, explicitně diskutováno není.
Teoretická část práce je po jazykové i typografické stránce na dobré úrovni. V částech věnovaných trénování modelů a implementaci řešení lze narazit na drobné prohřešky. Zejména texty generované jazykovým modelem jsou vysázeny nejednotně a často nejsou dostatečně odděleny od vlastního textu autora, což může být pro čtenáře matoucí (např. str. 27).
Seznam použité literatury není příliš rozsáhlý a zdroje jsou v textu práce citovány spíše ojediněle. Podle jedné citace na začátku se zdá, že téměř celá část popisující jazykové modely čerpá z jediného zdroje [10], což zřejmě odpovídá realitě, explicitně deklarováno to ale není. Původ informací např. v kapitole 2.1.2 tak lze jen odhadovat.
Realizačním výstupem jsou skripty umožňující konfiguraci několika volně dostupných jazykových modelů, webová aplikace umožňující interakci s těmito modely a provedené experimenty. Také jsou odevzdány datové soubory s výsledky provedených experimentů. Ačkoliv co do rozsahu programového kódu se nejedná o příliš rozsáhlý výsledek, vzhledem k experimentální povaze použitých modelů a nástrojů a jejich časové i prostorové náročnosti lze konstatovat, že student zde odvedl velký kus práce. Výsledný nástroj je funkční a dává výsledky popsané v technické zprávě. Bohužel vlastní kód je velmi málo komentovaný a postrádám jakýkoliv návod nebo dokumentaci, která by umožnila vytvořené nástroje zprovoznit i dalším uživatelům.
Práce je experimentálního charakteru, dosažené výsledky ale mají praktický potenciál v podpoře uživatelů informačního systému.
Evaluation level: obtížnější zadání
Zadání předpokládá využití velkých jazykových modelů pro poskytování nápovědy při konfiguraci rozsáhlého informačního systému. Zadání hodnotím jako obtížnější vzhledem k nutně rozsáhlejší studijní etapě , která zahrnovala jak principy různých jazykových modelů, tak i praktické aspekty jejich nasazení a související nástroje.
Grade proposed by reviewer: C
Responsibility: Mgr. et Mgr. Hana Odstrčilová