Přístupnostní navigace
E-application
Search Search Close
Master's Thesis
Author of thesis: Bc. Dávid Kán
Acad. year: 2025/2026
Supervisor: Ing. Martin Kišš
Reviewer: prof. Ing. Adam Herout, Ph.D.
This thesis focuses on the automatic generation of textual descriptions of historical documents using modern multimodal neural networks. Digital libraries manage vast collections of digitized materials, while manual annotation of visual content is both time-consuming and labor-intensive, creating a need for automated solutions. The work experimentally evaluates the multimodal models Qwen3-VL-Instruct and InternVL3.5, each in three size variants, adapted to the domain of historical documents using LoRA and QLoRA techniques. For training and evaluation, a custom annotated dataset was created, containing structured annotations in the form of detailed descriptions, short captions, and keywords. Model hyperparameters were optimized using a sequential approach. The quality of generated outputs is primarily evaluated using the Factual Correctness metric from the RAGAS library applied to the description field, secondarily to the caption field, and additionally using cosine similarity of sentence embeddings. The best results were achieved by the fine-tuned Qwen3-VL-32B-Instruct model with an FC-description score of 0.665, while Qwen3-VL-8B-Instruct represents a balanced trade-off between output quality and computational requirements.
image captioning, historical documents, multimodal models, neural networks, fine-tuning, LoRA, QLoRA, Qwen3-VL-Instruct, InternVL3.5, evaluation metrics
Date of defence
23.06.2026
Result of the defence
Not defended (thesis was not successfully defended)
Grading
F
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Oponent hodnotil práci stupněm 4F, protože v technické zprávě není popsána implementace. Student nedokázal vyvrátit výtky oponenta. Komise shledala nedostatky práce natolik závažné, že se práci rozhodla hodnotit jako nevyhovující.
Topics for thesis defence
Language of thesis
Slovak
Faculty
Fakulta informačních technologií
Department
Department of Computer Graphics and Multimedia
Study programme
Information Technology and Artificial Intelligence (MITAI)
Specialization
Application Development (NADE)
Composition of Committee
prof. RNDr. Alexandr Meduna, CSc. (předseda) doc. RNDr. Jitka Kreslíková, CSc. (místopředseda) Ing. Vladimír Bartík, Ph.D. (člen) Ing. Jiří Hynek, Ph.D. (člen) Ing. Jan Pluskal, Ph.D. (člen) Ing. Marta Jaroš, Ph.D. (člen)
Supervisor’s reportIng. Martin Kišš
Student ve své práci experimentálně ověřil možnosti dotrénování multimodálních velkých jazykových modelů pro generování popisů obrázků z historických dokumentů. Experimenty prokázaly, že je možné zlepšit popisování obrázků adaptací těchto modelů na cílovou doménu s důrazem na faktickou správnost popisů, která je pro knihovníky a uživatele aplikace, přes kterou jsou digitalizované dokumenty dostupné, poměrně důležitá. Jako nedostatky práce vnímám provedení pouze základních experimentů a konzultační aktivitu v letním semestru.
V rámci diplomové práce se jedná o mírně obtížnější zadání, jehož cílem bylo dotrénovat existující multimodální velké jazykové modely na generování popisů obrázků pro cílovou doménu - obrázky z historických dokumentů. Práce je součástí výzkumného projektu Orbis Pictus, který se, ve spolupráci s knihovnami, zabývá zpracováním netextových elementů (především obrázků) v digitalizovaných historických dokumentech.
Student ve své práci pracoval se dvěma typy modelů v několika velikostech, v rámci experimentů vyzkoušel různá nastavení trénování a natrénované modely vyhodnotil pomocí metriky factual correctness, která vyhodnocuje míru shody tvrzení mezi referenčním a generovaným popisem. Naměřené výsledky ukázaly zlepšení dotrénovaných modelů na delších popisech obrázků i krátkých titulků. Nicméně, experimenty jsou spíše základní a v rámci práce jich mohlo být provedeno více.
Práce byla dokončena v předstihu, technickou zprávu student zaslal ke konzultaci cca týden před odevzdáním.
K tomu, aby bylo možné práci publikovat jako výzkumný článek by bylo potřeba provést více experimentů.
Student byl při hledání literatury aktivní a našel si vhodnou literaturu.
V zimním semestru byla četnost konzultací průměrná, v letním semestru podprůměrná. Připravenost studenta na konzultace mohla být vyšší.
Grade proposed by supervisor: C
Reviewer’s reportprof. Ing. Adam Herout, Ph.D.
Technická zpráva uvádí mnoho modelů z historie řešeného problému, uvádí používané metriky, zmiňuje relevantní datasety a celý text je podpořen velkým počtem kvalitních citací.
Podle názoru posuzovatele je ale vyhodnocení bezcenné a od základu vadné. Z technické zprávy vůbec není patrné, že by "fine-tunované" modely byly v něčem lepší než modely výchozí; číselné výsledky svědčí spíše o opaku. Technická zpráva nepopisuje sekvenci iterativních experimentů, které by vedly k vhledu, inteligentní interpretaci a návrhu následných experimentů. Řešitel zkusil natrénovat modely s různými parametry z předdefinované množiny a vyhodnotil je metrikou, která se ukazuje jako značně problematická.
O samotném odevzdaném realizačním výstupu (skripty k provedení experimentů) technická zpráva naprosto mlčí. Není jasný autorský vklad – co skutečně řešitel vymyslel, realizoval – a technická zpráva nedokáže adekvátně komunikovat zjištěné skutečnosti.
Evaluation level: assignment fulfilled with major reservations
Zadání je hodně obecně formulované a rigidně vzato bylo splněno. Způsob splnění zadání a vypracování technické zprávy je ale podle názoru posuzovatele nepřijatelný.
Evaluation level: is within the usual extent
Technická zpráva je zásadním způsobem vadná a nevhodná. Kapitola 2 popisuje "teoretická východiska" a cituje a převzatými obrázky "ilustruje" existující přístupy. Provedená práce ale s popisovanými znalostmi žádným způsobem nepracuje. Realizačním výstupem je několik skriptů, které pouští dvě existující řešení (Qwen3-VL-Instruct a InternVL3.5) na výkonných počítačích s GPU a připravují pro ně data převážně ve formátu JSON. O tomto pozadí (paralelní počítání na GPU, vstupní a výstupní formáty atp.), ze kterého práce skutečně vychází, v technické zprávě informace nejsou. Kapitola 3 popisuje dostupné metriky, z nichž všechny kromě jedné řešitel zavrhnul jako málo vhodné a tu použitou používá – podle názoru posuzovatele – zcela nevhodně. Kapitola 4 popisuje tři datasety – první dva vůbec nebyly použity, ten třetí dostal řešitel patrně od vedoucího a možná na něm provedl vlastní úpravy a autorský vklad, ale o tom technická zpráva mlčí. Kapitola 5 o vlastním návrhu popisuje volbu existujících modelů a některá rozhodnutí ohledně volby metrika a podobně. Vůbec nepopisuje to, co realizační výstup skutečně dělá – úpravy zdrojového kódu použitých open-source nátrojů, práci s potřebnými knihovnami, předzpracování dat a vyhodnocení výsledků. To, co odevzdané skripty skutečně dělají (a co měla být patrně práce řešitele) v technické zprávě vůbec popsané není. Kapitola 6 s experimenty vyhodnocuje provedená měření pomocí metriky "faktické správnosti". Ústřední pointou řešení je tabulka 6.8, která ukazuje "přínos" doladění modelu (fine-tuning). Pro FC-cap má ze všech modelů nejlepší úspěšnost nejmenší model InternVL3.5-2B (0.908) a ani větší modely ani žádný fine-tuning tuto hodnotu nedokázaly překonat. Je pravděpodobné, že tento malý model vytváří krátké popisky, které jsou fakticky správné ("toto je obrázek" je fakticky dokonale správný výrok). Jiným způsobem řešitel modely nehodnotil (kapitola 6.5 uvádí výsledky ostatních metrik, ale pouze jako doplňkové ("Tieto metriky slúžia ako referenčné hodnoty pre porovnanie s existujúcou literatúrou, avšak na základe ich obmedzení diskutovaných v kapitole 3 nie sú rozhodujúce pri výbere najlepšieho modelu.").
Po formální stránce (jazyk, formátování) je technická zpráva v pořádku.
Tabulky 6.2, 6.4, 6.5, 6.7 konzistentně zvýrazňují tučně nejlepší hodnoty pouze pro kategorii FC-description a ignorují FC-caption, přitom to jsou nezávislé metriky a vyznačení nejlepších hodnot dává smysl pro obě. Pravděpodobný scénář mohl být, že použitý nástroj umělé inteligence dostal zadání vyznačit v každém řádku nejlepší hodnotu – bez hlubší úvahy o sémantickém významu.
Technická zpráva neobsahuje ANI JEDEN graf, což je pro daný žánr práce zcela neadekvátní.
Práce cituje velké množství vysoce odborných textů. Přehled starších a překonaných i aktuálních metod však vůbec nebyl v provedené práci nijak využit a provedené experimenty ukazují na naprosto zásadní nepochopení problematiky. To, co vytvořené a odevzdané skripty skutečně řeší (práci s daty, trénování modelů v multi-GPU prostředí atp.), v technické zprávě vůbec popsáno není a nejsou popsány zdroje, na základě kterých řešitel prováděl úpravy (patch) použitého open-source kódu, detekci dostupných GPU, detekci použitého běhového prostředí atd. Posuzovaná práce je krystalickým příkladem impozantí a rozsáhlé "teoretické části" s impozantním množstvím a kvalitou citací – které ale pro skutečně odevzdanou práci nemají vůbec žádný význam.
Řešitel odevzdal skripty, které provádějí několik experimentů, které vyprodukovaly množství čísel v tabulkách uvedených v technické zprávě (a jistě běžely velký počet hodin na superpočítačích). Skripty byly zjevně do značné míry generovány pomocí nástrojů AI – o skutečném autorském vkladu odevzdaného řešení se v technické zprávě ani ve zdrojovém kódu nepíše; technická zpráva se odevzdanému řešení vůbec nevěnuje.
Ani technická zpráva ani odevzdané kódy neobsahují informace o tom, jakým způsobem replikovat provedené experimenty – co nainstalovat, co pustit, jak zpracovat výstupy.
Provedené doladění (fine-tuning) je v technické zprávě ilustrováno na obrázku 6.1 a jeho vygenerovaných popiscích v tabulce 6.13. Podle názoru posuzovatele jsou vygenerovaná pole "description" v zásadě ekvivalentní; pole "caption" je podle názoru posuzovatele nejlepší pro základní model (zmiňuje i hnací systém, který v obrázku skutečně zachycený je). Uváděné metriky přitom favorizují "fine-tunovaný model". Z technické zprávy není posuzovateli žádným způsobem patrné, proč by doladěný model měl být považován za lepší než modely základní.
Ne
Evaluation level: simple assignment
Práce se sice zabývá sofistikovanými a komplexními LLM, ale v řešení ve skutečnosti žádná znalost principů a funkce LLM potřeba nebyla – řešitel využívá existující modely jako černé skříňky, které mají i funkčnost doučení. Vytvořené řešení je několik skriptů (nepochybně do značné a nespecifikované míry tvořených pomocí nástrojů AI), které provedou fine-tuning modelů a spočítají některé metriky, ale hlubší pochopení problematiky nebylo potřeba a v práci podle názoru posuzovatele absentuje.
Grade proposed by reviewer: F
Responsibility: Mgr. et Mgr. Hana Odstrčilová