Bachelor's Thesis

Use of Auto-Prompting for LLM Optimization

Final Thesis 1.11 MB

Author of thesis: Peter Kuppé

Acad. year: 2025/2026

Supervisor: Ing. Radek Hranický, Ph.D.

Reviewer: Ing. Jiří Hynek, Ph.D.

Abstract:

This thesis focuses on using auto-prompting to optimize the outputs of Large Language Models without retraining the model itself. The goal was to design, implement and test a module that automatically improves prompts used in the Lakmoos AI system. The module mainly targets post-processing tasks, such as cluster summaries and research insights. The proposed solution uses a two-phase optimization process, where several prompt variants are created first and the best one is then refined. An important part of the design is the use of hard constraints, such as output format or allowed values. The module was compared with DSPy MIPROv2, GEPA, TextGrad, OPRO and ProTeGi. The results showed improvements in score on several tasks, for example from 0.801 to 0.838 on cluster_summary, or from 0.340 to 0.568 on disambiguation_qa, where all reported scores are normalized on a scale from 0 to 1 and higher value means a better result.

Keywords:

Artificial Intelligence, Large Language Models, Auto-prompting, Prompt Optimization, Prompt Engineering, LLM Evaluation, Synthetic Respondents, Lakmoos AI

Date of defence

15.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. Jakým způsobem byl definován seznam tzv. doménových strategií (survey strategy list)? Mohou si tyto strategie odporovat? Jakým způsobem proběhne výběr nejlepší strategie?
  2. V textu zmiňujete tzv. domain-strategy bleed, kdy mohou tzv. doménové strategie negativně ovlivňovat kvalitu výstupů u generických promptů. Jakým způsobem je tato skutečnost odhalena a jaký je zde prostor na zlepšení?
  3. Co je hlavními výhodami auto-promptingu? Jaké je jeho praktické využití?
  4. Jakým způsobem jsou zadání řešených úloh formátována?
  5. Můžete blíže popsat hlavní smyčku auto-promptingu? Jakým způsobem validujete získané výsledky?

Language of thesis

English

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

prof. Ing. Adam Herout, Ph.D. (předseda)
doc. Mgr. Adam Rogalewicz, Ph.D. (místopředseda)
Ing. Vladimír Bartík, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Josef Strnadel, Ph.D. (člen)

Supervisor’s report
Ing. Radek Hranický, Ph.D.

Pan Kuppé v rámci své práce navrhl, implementoval a experimentálně ověřil modul AutoPrompt pro optimalizaci práce s velkými jazykovými modely v prostředí firmy Lakmoos. Oceňuji zejména důraz na tvrdá výstupní omezení a porovnání s několika relevantními optimalizačními přístupy. Původní zaměření práce mířilo především na vrstvu syntetických respondentů, ale v průběhu řešení však bylo rozšířeno i na post-processing, kde se nakonec podařilo dosáhnout lepších výsledků než pro původní use-case.


Kvalita výsledků je do značné míry závislá na automatickém vyhodnocení (kontrola omezení, deterministické metriky, "LLM-as-judge"). Námětem na budoucí práci by tak mělo být i hodnocení výstupů skutečnými lidmi.


Firma plánuje řešení využít v nástroji Lakmoos AI Panel. Před reálným nasazením bude potřeba jej ověřit na množství reálných úloh.


Celkově jsem však s výsledky práce spokojen a hodnotím stupněm "B".

Evaluation criteria Verbal classification
Informace k zadání

Jedná se o firemní zadání pro společnost Lakmoos AI. Cílem bylo implementovat podporu pro tzv. "auto-prompting" do podnikového řešení. Zadání považuji za splněné.

Práce s literaturou

Student využil doporučené literatury a další relevantní zdroje si samostatně dohledal.

Aktivita během řešení, konzultace, komunikace

Pan Kuppé byl během řešení aktivní a práci se mnou i zástupci firmy průběžně konzultoval. Na mé připomínky průběžně reagoval a zapracovával je do řešení. Na schůzky docházel připraven a dohodnuté termíny plnil.

Aktivita při dokončování

Práce byla dokončena v předstihu a její finální obsah se mnou student konzultoval.

Publikační činnost, ocenění
Points proposed by supervisor: 80

Grade proposed by supervisor: B

Reviewer’s report
Ing. Jiří Hynek, Ph.D.

Až na některé výše zmíněné nedostatky bylo vytvořeno použitelné řešení využitelné ve firmě Lakmoos AI. Oceňuji rovněž, že se student rozhodl psát práci v anglickém jazyce. Navrhuji hodnocení stupněm A.

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: obtížnější zadání

Cílem práce bylo navrhnout, implementovat a otestovat modul pro auto-prompting, který automaticky optimalizuje prompty pro velké jazykové modely bez potřeby přetrénování. Modul byl zaměřen na post-processingové úlohy systému Lakmoos AI – konkrétně na sumarizaci shluků a získávání poznatků z výzkumů. Student se musel důkladně seznámit s architekturou velkých jazykových modelů, současnými aplikačními rámci pro optimalizace promptů (DSPy MIPROv2, GEPA, TextGrad, OPRO, ProTeGi) a specifiky systému Lakmoos AI. Zadání hodnotím jako obtížnější. Považuji ho za splněné.

Prezentační úroveň technické zprávy

Prezentační úroveň technické zprávy je kvalitní. Kapitoly na sebe logicky navazují. Oceňuji, že student věnoval rozsáhlejší prostor kapitole Evaluation, v níž srovnává výsledky navrženého řešení s dostupnými optimalizátory promptů.

95
Formální úprava technické zprávy

Po formální stránce je práce na dobré úrovni – text je jazykově i typograficky kvalitní. Vytkl bych použití rastrových obrázků v horší kvalitě.

80
Realizační výstup

Výsledkem práce je modul napsaný v jazyce Python implementující dvoufázový algoritmus pro automatickou optimalizaci promptů, který zvyšuje kvalitu a formální správnost výstupů systému Lakmoos AI. Modul má charakter proof of concept a nebyl přenesen do produkčního prostředí.

85
Využitelnost výsledků

Výsledky jsou potenciálně využitelné ve firmě Lakmoos AI.

Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Práce s literaturou

Práce s literaturou je dobrá. Student citoval dostatečné množství odborných zdrojů z oblasti umělé inteligence a velkých jazykových modelů.

90
Topics for thesis defence:
  1. Jakým způsobem byl definován seznam tzv. doménových strategií (survey strategy list)? Mohou si tyto strategie odporovat? Jakým způsobem proběhne výběr nejlepší strategie?
  2. V textu zmiňujete tzv. domain-strategy bleed, kdy mohou tzv. doménové strategie negativně ovlivňovat kvalitu výstupů u generických promptů. Jakým způsobem je tato skutečnost odhalena a jaký je zde prostor na zlepšení?
Points proposed by reviewer: 90

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová