Přístupnostní navigace
E-application
Search Search Close
Bachelor's Thesis
Author of thesis: Tomáš Skýpala
Acad. year: 2025/2026
Supervisor: Ing. Jan Fiedor, Ph.D.
Reviewer: Ing. Aleš Smrčka, Ph.D.
This bachelor's thesis focuses on assessing the quality of engineering requirements using Large Language Models. Poorly written requirements can lead to ambiguity, missing information, inconsistent specifications, and costly rework in later development phases. The thesis proposes and implements a prototype tool, RequirementHealth, that supports automated requirement quality assessment. The system is primarily integrated with Polarion, where it can assess modified requirement work items and write the resulting score and rationale back to custom fields. In addition, the implementation supports document-based assessment and Polarion-fetch batch assessment, where multiple requirements are evaluated and summarized in an HTML report. The thesis describes the theoretical background of requirements engineering and Large Language Models, the design of the assessment agent, and the implementation of its main workflows. The result is a modular prototype that demonstrates how LLM-based feedback can support requirement engineers during requirement review and refinement.
requirements engineering, requirement quality, large language models, LLM, Polarion, automated assessment, requirement analysis
Date of defence
17.06.2026
Result of the defence
Defended (thesis was successfully defended)
Grading
C
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C.
Topics for thesis defence
Language of thesis
English
Faculty
Fakulta informačních technologií
Department
Department of Intelligent Systems
Study programme
Information Technology (BIT)
Composition of Committee
doc. Ing. František Zbořil, Ph.D. (předseda) doc. Ing. Vojtěch Mrázek, Ph.D. (místopředseda) Ing. Petr Veigend, Ph.D. (člen) Ing. David Bařina, Ph.D. (člen) Ing. Miloš Musil, Ph.D. (člen)
Supervisor’s reportIng. Jan Fiedor, Ph.D.
Jedná se o kvalitní práci hlavně po stránce implementace. Implementovaný nástroj je plně funkční, nad rámec zadání byl plně integrován do nástroje Polarion pro jeho snadné použití ve společnosti Novanta, a uvažuje se také o jeho využití ve společnosti Honeywell.
Cílem práce bylo navrhnout nástroj pro vyhodnocování kvality požadavků pomocí LLM modelů, propojit tento nástroj s některým z nástrojů pro správu požadavků, a zhodnotit vhodnost aplikace různých LLM modelů na problém vyhodnocování kvality prožadavků.
Práce byla vytvořena ve spolupráci se společnostmi Honeywell a Novanta, kde každá využívá jiný systém pro správu požadavků, se kterým bylo potřeba nástroj propojit. Student navíc dodal podporu pro načítání požadavků z Microsoft Word dokumentů a Requirements Interchange Format (ReqIF) souborů. Práci tedy hodnotím jako náročnější, hlavně z pohledu realizace.
Student využil jak doporučenou literaturu, tak si samostatně vyhledával další relevantní a potřebné zdroje.
Student pracoval samostatně, řešení konzultoval pravidelně jak s technickým vedoucím ze společnosti Novanta, tak s vedoucím práce a zároveň technickým vedoucím ze společnosti Honeywell. Na konzultace byl vždy dostatečně připraven.
Implementace práce byla dokončena s dostatečným předstihem pro její evaluaci jak ve společnosti Novanta, tak ve společnosti Honeywell. První draft technické zprávy byl dodán s mírným předstihem bez kapitoly věnované evaluaci. Během připomínkování prvních kapitol byl pak dodán i text kapitoly věnované evaluaci pro její připomínkování. Student stihnul zapracovat dodané připomínky do finální verze technické zprávy.
Student nad rámec zadání implementoval plnohodnotnou integraci vytvořeného nástroje do nástroje pro správu požadavků Polarion, jenž byla otestována a je nyní používána ve společnosti Novanta. Dále implementoval režimy pro dávkovou (batch) analýzu požadavků vhodnou pro nasazení ve společnosti Honeywell, kde mohou být požadavky ve formě Word dokumentů nebo ReqIF souborů, jenž nástroj podporuje. Modulární návrh nástroje také umožnil V&V týmu společnosti Honeywell dodat rychle podporu pro požadavky v CSV formátu exportovaném z nástroje IBM DOORS Next. Společnost Honeywell nyní zvažuje integraci vytvořeného nástroje do interního nástroje pro evaluaci požadavků.
Grade proposed by supervisor: A
Reviewer’s reportIng. Aleš Smrčka, Ph.D.
Práce řeší aktuální a prakticky zajímavé téma a představuje vlastní prototyp nástroje pro hodnocení kvality požadavků pomocí LLM. Oceňuji rozsah záběru, snahu o praktickou integraci i to, že student dospěl až k implementaci a evaluaci na konkrétních datech. Hlavní slabiny vidím v méně přesvědčivé metodice evaluace, omezeném důkazu o správnosti vzniklých hodnocení, slabší reprodukovatelnosti a několika nesouladech mezi textem, dokumentací a kódem.
Evaluation level: průměrně obtížné zadání
Zadání kombinuje problematiku requirements engineeringu, velkých jazykových modelů, parsování více vstupních formátů a integraci s nástrojem Polarion. Kromě návrhu metody vyžaduje i implementaci prototypu a jeho evaluaci na více modelech a datech z praxe nebo veřejných zdrojů. Z technického hlediska považuji zadání za průměrně obtížné.
Technická zpráva má logickou strukturu a dobře odděluje teoretická východiska, návrh, implementaci a evaluaci. Pozitivně hodnotím zejména přehled architektury a vazbu mezi popisem workflow a obsahem elektronické přílohy. Slabší je hloubka některých technických pasáží. Implementace je místy popsána spíše na úrovni komponent a toku zpracování, ale méně už na úrovni rozhraní, omezení parserů nebo přesných experimentálních podmínek. Evaluace porovnává chování více modelů, ale méně přesvědčivě odpovídá na otázku, jak přesná a prakticky užitečná jsou vzniklá hodnocení.
Práce je čitelná a formálně použitelná, avšak obsahuje opakované jazykové, typografické a bibliografické nedostatky. V textu se vyskytují překlepy, ne zcela ustálená terminologie i nepřesné odkazy typu "graph" nebo "picture". Podobně i bibliografie obsahuje několik zjevných formátovacích artefaktů. Tyto nedostatky zásadním způsobem nesnižují srozumitelnost, ale celkovou formální úroveň práce oslabují.
Elektronická příloha obsahuje netriviální prototyp nástroje pro hodnocení požadavků s podporou dokumentových vstupů, HTML reportů s návazností na Polarion workflow. Pozitivní je modulární struktura kódu, přítomnost evaluačních dat a poměrně podrobný README. Na druhé straně chybí automatizované testy a standardní licence projektu a reprodukovatelnost (byť omezená) bez externích přístupů. Při lokální kontrole se podařilo ověřit syntaktickou správnost a část pipeline se simulovaným agentem. Funkčnost integrace AI a Polarion byla úspěšně demonstrována.
Práce má praktický potenciál zejména jako prototyp a základ pro další rozvoj v prostředí, kde se požadavky spravují centralizovaně. Pro širší nebo produkční nasazení by však bylo třeba dopracovat validaci výstupů, reprodukovatelnost, testování a robustnost integračních částí.
Evaluation level: zadání splněno
Evaluation level: přesahuje obvyklé rozmezí
Technická zpráva má cca 85 normostran, čímž mírně přesahuje obvyklé rozmezí. Rozsah odpovídá širokému záběru tématu, i když by bylo vhodné zkrátit část obecnějších pasáží a více prostoru věnovat implementačním detailům a přesnějšímu popisu evaluace.
Výběr literatury považuji za vhodný. Student pracuje se zdroji z oblasti requirements engineeringu, promptingu, LLM a používaných nástrojů a kombinuje základní literaturu s novějšími odbornými zdroji. Literatura je v textu průběžně využívána a podporuje motivaci i návrh řešení. Slabší stránkou jsou především formální nedostatky některých bibliografických záznamů a jen omezená shrnutí jednotlivých zdrojů.
Grade proposed by reviewer: C
Responsibility: Mgr. et Mgr. Hana Odstrčilová