Přístupnostní navigace
E-application
Search Search Close
Master's Thesis
Author of thesis: Ing. Patrik Pricl
Acad. year: 2023/2024
Supervisor: RNDr. Marek Rychlý, Ph.D.
Reviewer: doc. Ing. Radek Burget, Ph.D.
The thesis deals with the use of pre-trained language models for summarizing medical documentation in the form of dismissal reports. To create a functional model, the LLaMA architecture is used. Already existing models of the given architecture were used. The aim of the experiments was to find a model that can generate part of the documentation in the Czech language. The selected model was fine-tuned using the LoRA method. Subsequently, the inference parameters were experimented with to find the most suitable ones so that the model generates the most correct output. Web-client and server applications were also created as part of the thesis, the purpose of which is to demonstrate the functionality of the fine-tuned model.
NLP, Text sumarization, Artificial intelligence, Large language models,Transformers, Peft, LoRA, LLaMA, BERT, GPT, ChatGPT-3.5, Medical documents, Flask, Python, fine- tuning
Date of defence
27.08.2024
Result of the defence
Defended (thesis was successfully defended)
Grading
D
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
Topics for thesis defence
Language of thesis
English
Faculty
Fakulta informačních technologií
Department
Department of Information Systems
Study programme
Information Technology and Artificial Intelligence (MITAI)
Specialization
Bioinformatics and Biocomputing (NBIO)
Composition of Committee
doc. Ing. Richard Růžička, Ph.D., MBA (předseda) doc. Ing. František Zbořil, CSc. (člen) doc. Mgr. Adam Rogalewicz, Ph.D. (člen) Ing. Libor Polčák, Ph.D. (člen) doc. Mgr. Kamil Malinka, Ph.D. (člen) doc. Ing. Tomáš Martínek, Ph.D. (člen)
Supervisor’s reportRNDr. Marek Rychlý, Ph.D.
Vzhledem k nevyváženému tempu práce a uspěchanému, problematickému dokončování považuji celkovou aktivitu studenta během řešení za podprůměrnou. Navrhuji hodnotit práci na stupněm uspokojivě (D).
Cílem práce bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů při asistované tvorbě lékařských zpráv. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Zadání považuji za splněné.
Práce byla dokončena dodatečně (po první neúspěšné obhajobě). Výsledná podoba technické zprávy byla konzultována a výsledné programové řešení bylo předvedeno.
Bez publikací či ocenění.
Student samostatně vyhledal a prozkoumal relevantní literaturu.
V průběhu řešení student pracoval nerovnoměrně a obtížně se vypořádával s četnými technickými komplikacemi a větší časovou náročností prováděných experimentů. Vzhledem k pomalejšímu postupu byly konzultace v průběhu řešení jen občasné. V průběhu dopracování (po první neúspěšné obhajobě) byly konzultace již pravidelné a časté, student dobře reagoval na připomínky a termíny byly dodrženy. Spolupráce v oblasti praktického nasazení probíhala s průmyslovým partnerem, opět spíše volnějším tempem.
Grade proposed by supervisor: D
Reviewer’s reportdoc. Ing. Radek Burget, Ph.D.
Pan Pricl prostudoval poměrně složitou problematiku velkých jazykových modelů a jejich použití pro konkrétní aplikační doménu a navrhl a implementoval funkční řešení, které, ač je experimentální, dává poměrně nadějné výsledky. K technické zprávě mám některé výhrady převážně formálního charakteru. Celkově proto navrhuji hodnocení stupněm C.
Evaluation level: zadání splněno
Zadání považuji za splněné bez výhrad.
Evaluation level: je v obvyklém rozmezí
Technická zpráva je svým rozsahem v rozmezí obvyklém pro diplomovou práci.
Technická zpráva je dobře strukturovaná a pokrývá jak studium problematiky umělé inteligence se zaměřením na velké jazykové modely, tak i praktickou část, která se zabývá návrhem řešení pro asistenci při tvorbě lékařských zpráv. Konkrétně se autor zaměřil na automatické generování propouštěcí zprávy pacienta na základě záznamů o průběhu léčby uložených v databázi. Teoretická východiska, použité datové sady i způsob řešení jsou velmi podrobně popsány. Rovněž vyhodnocení výsledků je dostatečně podrobné.
Práce je psána v anglickém jazyce, což obecně hodnotím jako klad, nicméně úroveň použité angličtiny je místy problematická. Často se objevují gramatické chyby, chybný slovosled (např. v závěru práce), apod. Nicméně celkově je text srozumitelný. K typografické stránce mám jen drobné připomínky např. k formátování seznamů.
Seznam použité literatury je přiměřeně rozsáhlý a obsahuje relevantní zdroje. Tyto zdroje jsou v textu práce řádně citovány.
Realizačním výstupem je sada skriptů v jazyce Python, které provádí přípravu vstupu pro jazykový model, jeho trénování a použití. Výsledek mi byl demonstrován a je plně funkční. Součástí řešení je i webová aplikace skládající se ze serverové části provádějící generování propouštěcích zpráv a klientské části poskytující uživatelské rozhraní. Dalším výsledkem je i poměrně důkladné vyhodnocení úspěšnosti generování s použitím různých modelů a jejich nastavení.
Práce je spíše experimentálního charakteru a výsledky dosud zřejmě nejsou použitelné v reálných podmínkách, nicméně poskytuje dobrý výchozí bod pro nasazení jazykových modelů v informačních systémech.
Evaluation level: obtížnější zadání
Zadání předpokládá detailní prostudování funkce velkých jazykových modelů a jejich aplikaci v poněkud specifické oblasti. Jedná se spíše o výzkumnou a experimentální práci, daná problematika je poměrně složitá a zadání proto považuji za obtížnější.
Grade proposed by reviewer: C
Responsibility: Mgr. et Mgr. Hana Odstrčilová