Přístupnostní navigace
E-application
Search Search Close
Bachelor's Thesis
Author of thesis: Matúš Csirik
Acad. year: 2025/2026
Supervisor: Ing. Ondřej Ondryáš
Reviewer: Ing. Zbyněk Křivka, Ph.D.
This thesis investigates the assessment of student project documentation in programming courses, specifically Formal Languages and Compilers (IFJ) and Principles of Programming Languages (IPP) at FIT BUT, by automating score recommendations for graders. The system parses input documentation in PDF or Markdown format into a structured intermediate representation, applies a combination of machine learning and rule-based analysers aligned with predefined assessment criteria, and aggregates findings through a specialised scoring mechanism. The graphical user interface presents the original documentation along with these findings as explicit score recommendations, complete with reasoning, evidence in the form of exact locations within the file, and model confidence scores. The current evidence supports deployment as an auditable reviewer-assistance layer that emphasises traceability and preserves reviewer decision authority.
Automated Assessment, Large Language Models, Vision-Language Models, Criterion-Based Assessment, Evidence-Linked Scoring, Document Layout Analysis, Diagram Comprehension
Date of defence
17.06.2026
Result of the defence
Defended (thesis was successfully defended)
Grading
A
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Topics for thesis defence
Language of thesis
English
Faculty
Fakulta informačních technologií
Department
Department of Information Systems
Study programme
Information Technology (BIT)
Composition of Committee
doc. Ing. František Zbořil, CSc. (předseda) doc. Ing. Michal Španěl, Ph.D. (místopředseda) Ing. Jan Pluskal, Ph.D. (člen) Ing. Aleš Smrčka, Ph.D. (člen) Ing. Josef Strnadel, Ph.D. (člen)
Supervisor’s reportIng. Ondřej Ondryáš
Myslím si, že se pan kolega Csirik chopil rozsáhlé výzvy s velkým nasazením a projevil při řešení dobré analytické i vývojářské schopnosti. Bylo mi potěšením jej v rámci této práce vést. Zpětná vazba od cvičících, kteří měli možnost výstupy nástroje použít při hodnocení letošních dokumentací k projektům v předmětu IPP, naznačuje, že nástroj má (i přes jisté nedokonalosti) potenciál celý proces hodnocení zefektivnit. Řekl bych, že dosažený výsledek dobře demonstruje, jakým směrem by se měl tento proces v budoucích letech vyvíjet, a poskytuje skvělý základ pro konzistentnější a (zejména pro studující) interpretovatelnější hodnocení.
Cílem práce bylo prozkoumat možnosti využití nástrojů na bázi umělé inteligence pro účely zefektivnění procesu hodnocení dokumentací ke studentským projektům odevzdaných především v předmětu IPP a případně IFJ. Zadání považuji za obtížnější, neboť jde o široký problém z hlediska strojového učení a práce s daty (zajisté nad rámec učiva bakalářského studijního programu na FIT), ale i softwarového inženýrství, a to navíc s přesahem do psychologie interakce člověka a počítače. Řešení považuji za promyšlené, vhodně ohraničené, dobře navržené, v budoucnu rozšiřitelné a použitelné i mimo uvedené předměty.
Pan Csirik vhodně využil doporučenou literaturu a sám si aktivně vyhledal značné množství dalších relevantních zdrojů.
Aktivitě pana kolegy v průběhu řešení práce nemohu téměř nic vytknout. Na studiu řešené problematiky začal pracovat už před začátkem akademického roku, po celou dobu řešení pak ve vhodném rozsahu práci konzultoval a pravidelně mě informoval o jejím stavu.
Implementační část byla dokončena s rozumným předstihem, výsledek práce tak mohl být částečně otestován už při hodnocení letošních projektů z předmětu IPP. Dokončený text práce byl poprvé zaslán ke kontrole 9 dnů před termínem odevzdání – zde bych vzhledem k rozsahu práce uvítal trochu větší časovou rezervu. Na důkladné přečtení odevzdávané verze jsem proto už bohužel neměl dostatek času, ale soudím, že většinu mých připomínek zvládl pan kolega vhodně zapracovat.
Publikační činnost mi není známa. Realizační výstup je zveřejněn formou open source.
Grade proposed by supervisor: A
Reviewer’s reportIng. Zbyněk Křivka, Ph.D.
Hutný a rozsáhlý text podporuje funkční a propracovanou implementaci. Oceňuji také velmi podrobnou analýzu dat z předchozích let a provedení řady analýz použitelnosti různých nástrojů pro potřeby projektu.
Evaluation level: obtížnější zadání
Práce se zabývá velmi aktuálním tématem augmentace hodnocení dokumentačních textů a především experimentálním vyhodnocením, zda jsou již vybrané LLM schopny spolehlivě vyhodnotit kritéria kladená na dokumentace studentských projektů. Vzhledem k aktuálnosti a populárnosti tématu je výčet literatury obrovský a nutnost se v celé problematice zorientovat a všechno si vyzkoušet považuji za nejnáročnější aspekt zadání.
V textu jsem nenarazil vyloženě na chyby, ale na řadě míst nechává čtenáře na pochybách, zda nějaký termín neměl být definován a nebo je pouze považován za samozřejmý a měl by si jej čtenář doplnit z četného seznamu literatury.
Např. pojmy "evidence anchor" a "traceable feedback" na str. 12 nebo "binary label" na str. 43. Nápomocný by mohl být slovník pojmů.
Nenarazil jsem na žádný formální prohřešek.
Návrh celého systému je promyšlený, detailně zdokumentován a připraven na budoucí úpravy či rozšíření. Při implementaci student využívá řadu již existujících technologií (např. Docling) a rozhraní na LLM. Zdrojový text je v jazyce Python, je přehledný a vhodně komentovány.
Samotný systém je velmi dobře použitelný a proběhlo i neoficiální testování nad letošními projekty IPP. Především je šitá na míru architektura systému, kdy je oddělena část používající i placené LLM a část podporující hodnocení cvičících.
Evaluation level: zadání splněno
Evaluation level: přesahuje obvyklé rozmezí
Text dosahuje doporučené maximální hranice kolem 100 normostran a k tomu obsahuje řadu schémat a diagramů na lepší orientaci v navrženém systému. Nicméně text neobsahuje žádnou vatu a pouze pečlivě pokrývá všechny analyzované a navrhované aspekty.
Student využil přes 50 pramenů a řada z nich jsou velmi aktuální. Všechny reference jsou odkazovány v textu.
Grade proposed by reviewer: A
Responsibility: Mgr. et Mgr. Hana Odstrčilová