Přístupnostní navigace
E-přihláška
Vyhledávání Vyhledat Zavřít
diplomová práce
Autor práce: Ing. Patrik Pricl
Ak. rok: 2023/2024
Vedoucí: RNDr. Marek Rychlý, Ph.D.
Oponent: doc. Ing. Radek Burget, Ph.D.
Práca sa zaoberá využitím predtrénovaných jazykových modelov na sumarizáciu zdravot- nej dokumentácie do formy prepúšťacích správ. Na vytvorenie funkčného modelu bola využitá architektúra LLaMA a experimentovanie už s existujúcimi modelmi danej architek- túry. Cielom experimentov bolo nájsť model, ktorý zvládne generovať časť dokumentácie v českom jazyku. Vybraný model sa finetunoval pomocou metody LoRA. Následne sa exper- imentovalo s inference parametrami na nájdenie tých najvhodnejších, aby model generoval čo najkoreknejší výstup. Taktiež bola v rámci práce vytvorená webová a server aplikáciá, ktorých učelom je demonštrovať funkčnosť fine-tunovaného modelu.
Spracovanie prirodzeného jazyka, Sumarizácia textu, Umelá Inteligencia, Predtrénované jazykové modely, Transformers, Peft, LoRA, LLaMA, BERT, GPT, ChatGPT-3.5, Zdravot- nícka dokumentácia, Flask, Python, fine-tuning
Termín obhajoby
27.08.2024
Výsledek obhajoby
obhájeno (práce byla úspěšně obhájena)
Klasifikace
D
Průběh obhajoby
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
Otázky k obhajobě
Jazyk práce
angličtina
Fakulta
Fakulta informačních technologií
Ústav
Ústav informačních systémů
Studijní program
Informační technologie a umělá inteligence (MITAI)
Specializace
Bioinformatika a biocomputing (NBIO)
Složení komise
doc. Ing. Richard Růžička, Ph.D., MBA (předseda) doc. Ing. František Zbořil, CSc. (člen) doc. Mgr. Adam Rogalewicz, Ph.D. (člen) Ing. Libor Polčák, Ph.D. (člen) Mgr. Kamil Malinka, Ph.D. (člen) doc. Ing. Tomáš Martínek, Ph.D. (člen)
Posudek vedoucíhoRNDr. Marek Rychlý, Ph.D.
Vzhledem k nevyváženému tempu práce a uspěchanému, problematickému dokončování považuji celkovou aktivitu studenta během řešení za podprůměrnou. Navrhuji hodnotit práci na stupněm uspokojivě (D).
Cílem práce bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů při asistované tvorbě lékařských zpráv. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Zadání považuji za splněné.
Práce byla dokončena dodatečně (po první neúspěšné obhajobě). Výsledná podoba technické zprávy byla konzultována a výsledné programové řešení bylo předvedeno.
Bez publikací či ocenění.
Student samostatně vyhledal a prozkoumal relevantní literaturu.
V průběhu řešení student pracoval nerovnoměrně a obtížně se vypořádával s četnými technickými komplikacemi a větší časovou náročností prováděných experimentů. Vzhledem k pomalejšímu postupu byly konzultace v průběhu řešení jen občasné. V průběhu dopracování (po první neúspěšné obhajobě) byly konzultace již pravidelné a časté, student dobře reagoval na připomínky a termíny byly dodrženy. Spolupráce v oblasti praktického nasazení probíhala s průmyslovým partnerem, opět spíše volnějším tempem.
Známka navržená vedoucím: D
Posudek oponentadoc. Ing. Radek Burget, Ph.D.
Pan Pricl prostudoval poměrně složitou problematiku velkých jazykových modelů a jejich použití pro konkrétní aplikační doménu a navrhl a implementoval funkční řešení, které, ač je experimentální, dává poměrně nadějné výsledky. K technické zprávě mám některé výhrady převážně formálního charakteru. Celkově proto navrhuji hodnocení stupněm C.
Stupeň hodnocení: zadání splněno
Zadání považuji za splněné bez výhrad.
Stupeň hodnocení: je v obvyklém rozmezí
Technická zpráva je svým rozsahem v rozmezí obvyklém pro diplomovou práci.
Technická zpráva je dobře strukturovaná a pokrývá jak studium problematiky umělé inteligence se zaměřením na velké jazykové modely, tak i praktickou část, která se zabývá návrhem řešení pro asistenci při tvorbě lékařských zpráv. Konkrétně se autor zaměřil na automatické generování propouštěcí zprávy pacienta na základě záznamů o průběhu léčby uložených v databázi. Teoretická východiska, použité datové sady i způsob řešení jsou velmi podrobně popsány. Rovněž vyhodnocení výsledků je dostatečně podrobné.
Práce je psána v anglickém jazyce, což obecně hodnotím jako klad, nicméně úroveň použité angličtiny je místy problematická. Často se objevují gramatické chyby, chybný slovosled (např. v závěru práce), apod. Nicméně celkově je text srozumitelný. K typografické stránce mám jen drobné připomínky např. k formátování seznamů.
Seznam použité literatury je přiměřeně rozsáhlý a obsahuje relevantní zdroje. Tyto zdroje jsou v textu práce řádně citovány.
Realizačním výstupem je sada skriptů v jazyce Python, které provádí přípravu vstupu pro jazykový model, jeho trénování a použití. Výsledek mi byl demonstrován a je plně funkční. Součástí řešení je i webová aplikace skládající se ze serverové části provádějící generování propouštěcích zpráv a klientské části poskytující uživatelské rozhraní. Dalším výsledkem je i poměrně důkladné vyhodnocení úspěšnosti generování s použitím různých modelů a jejich nastavení.
Práce je spíše experimentálního charakteru a výsledky dosud zřejmě nejsou použitelné v reálných podmínkách, nicméně poskytuje dobrý výchozí bod pro nasazení jazykových modelů v informačních systémech.
Stupeň hodnocení: obtížnější zadání
Zadání předpokládá detailní prostudování funkce velkých jazykových modelů a jejich aplikaci v poněkud specifické oblasti. Jedná se spíše o výzkumnou a experimentální práci, daná problematika je poměrně složitá a zadání proto považuji za obtížnější.
Známka navržená oponentem: C
Odpovědnost: Mgr. et Mgr. Hana Odstrčilová