Přístupnostní navigace
E-application
Search Search Close
Bachelor's Thesis
Author of thesis: Peter Kuppé
Acad. year: 2025/2026
Supervisor: Ing. Radek Hranický, Ph.D.
Reviewer: Ing. Jiří Hynek, Ph.D.
This thesis focuses on using auto-prompting to optimize the outputs of Large Language Models without retraining the model itself. The goal was to design, implement and test a module that automatically improves prompts used in the Lakmoos AI system. The module mainly targets post-processing tasks, such as cluster summaries and research insights. The proposed solution uses a two-phase optimization process, where several prompt variants are created first and the best one is then refined. An important part of the design is the use of hard constraints, such as output format or allowed values. The module was compared with DSPy MIPROv2, GEPA, TextGrad, OPRO and ProTeGi. The results showed improvements in score on several tasks, for example from 0.801 to 0.838 on cluster_summary, or from 0.340 to 0.568 on disambiguation_qa, where all reported scores are normalized on a scale from 0 to 1 and higher value means a better result.
Artificial Intelligence, Large Language Models, Auto-prompting, Prompt Optimization, Prompt Engineering, LLM Evaluation, Synthetic Respondents, Lakmoos AI
Date of defence
15.06.2026
Result of the defence
Defended (thesis was successfully defended)
Grading
B
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
Topics for thesis defence
Language of thesis
English
Faculty
Fakulta informačních technologií
Department
Department of Information Systems
Study programme
Information Technology (BIT)
Composition of Committee
prof. Ing. Adam Herout, Ph.D. (předseda) doc. Mgr. Adam Rogalewicz, Ph.D. (místopředseda) Ing. Vladimír Bartík, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. Josef Strnadel, Ph.D. (člen)
Supervisor’s reportIng. Radek Hranický, Ph.D.
Pan Kuppé v rámci své práce navrhl, implementoval a experimentálně ověřil modul AutoPrompt pro optimalizaci práce s velkými jazykovými modely v prostředí firmy Lakmoos. Oceňuji zejména důraz na tvrdá výstupní omezení a porovnání s několika relevantními optimalizačními přístupy. Původní zaměření práce mířilo především na vrstvu syntetických respondentů, ale v průběhu řešení však bylo rozšířeno i na post-processing, kde se nakonec podařilo dosáhnout lepších výsledků než pro původní use-case.
Kvalita výsledků je do značné míry závislá na automatickém vyhodnocení (kontrola omezení, deterministické metriky, "LLM-as-judge"). Námětem na budoucí práci by tak mělo být i hodnocení výstupů skutečnými lidmi.
Firma plánuje řešení využít v nástroji Lakmoos AI Panel. Před reálným nasazením bude potřeba jej ověřit na množství reálných úloh.
Celkově jsem však s výsledky práce spokojen a hodnotím stupněm "B".
Jedná se o firemní zadání pro společnost Lakmoos AI. Cílem bylo implementovat podporu pro tzv. "auto-prompting" do podnikového řešení. Zadání považuji za splněné.
Student využil doporučené literatury a další relevantní zdroje si samostatně dohledal.
Pan Kuppé byl během řešení aktivní a práci se mnou i zástupci firmy průběžně konzultoval. Na mé připomínky průběžně reagoval a zapracovával je do řešení. Na schůzky docházel připraven a dohodnuté termíny plnil.
Práce byla dokončena v předstihu a její finální obsah se mnou student konzultoval.
Grade proposed by supervisor: B
Reviewer’s reportIng. Jiří Hynek, Ph.D.
Až na některé výše zmíněné nedostatky bylo vytvořeno použitelné řešení využitelné ve firmě Lakmoos AI. Oceňuji rovněž, že se student rozhodl psát práci v anglickém jazyce. Navrhuji hodnocení stupněm A.
Evaluation level: obtížnější zadání
Cílem práce bylo navrhnout, implementovat a otestovat modul pro auto-prompting, který automaticky optimalizuje prompty pro velké jazykové modely bez potřeby přetrénování. Modul byl zaměřen na post-processingové úlohy systému Lakmoos AI – konkrétně na sumarizaci shluků a získávání poznatků z výzkumů. Student se musel důkladně seznámit s architekturou velkých jazykových modelů, současnými aplikačními rámci pro optimalizace promptů (DSPy MIPROv2, GEPA, TextGrad, OPRO, ProTeGi) a specifiky systému Lakmoos AI. Zadání hodnotím jako obtížnější. Považuji ho za splněné.
Prezentační úroveň technické zprávy je kvalitní. Kapitoly na sebe logicky navazují. Oceňuji, že student věnoval rozsáhlejší prostor kapitole Evaluation, v níž srovnává výsledky navrženého řešení s dostupnými optimalizátory promptů.
Po formální stránce je práce na dobré úrovni – text je jazykově i typograficky kvalitní. Vytkl bych použití rastrových obrázků v horší kvalitě.
Výsledkem práce je modul napsaný v jazyce Python implementující dvoufázový algoritmus pro automatickou optimalizaci promptů, který zvyšuje kvalitu a formální správnost výstupů systému Lakmoos AI. Modul má charakter proof of concept a nebyl přenesen do produkčního prostředí.
Výsledky jsou potenciálně využitelné ve firmě Lakmoos AI.
Evaluation level: zadání splněno
Evaluation level: je v obvyklém rozmezí
Práce s literaturou je dobrá. Student citoval dostatečné množství odborných zdrojů z oblasti umělé inteligence a velkých jazykových modelů.
Grade proposed by reviewer: A
Responsibility: Mgr. et Mgr. Hana Odstrčilová