Přístupnostní navigace
E-application
Search Search Close
Bachelor's Thesis
Author of thesis: Bc. Mariia Sydorenko
Acad. year: 2025/2026
Supervisor: Ing. Jiří Setinský
Reviewer: Ing. Martin Žádník, Ph.D.
This thesis examines large language models and their applications in log-based event detection, including their limitations and techniques for enhancing performance such as prompt engineering, retrieval-augmented generation (RAG), grammar-constrained decoding, and fine-tuning. The target environment Logmanager was examined, with emphasis on its alert rules in the platform-specific Blockly implementation. A system for automated alert generation from natural language was proposed and implemented, comprising an intermediate JSON representation, a deterministic parser for conversion to the target XML format, a RAG pipeline for dynamic retrieval of relevant log fields, and two alternative approaches to the generative model: fine-tuning a smaller model for local deployment or utilizing a cloud-based large language model. Evaluation showed that the best-performing configurations of both approaches were capable of generating syntactically and semantically valid alert structures, and of applying user-requested corrections to existing alerts. Enforcing output format constraints proved to be a critical factor in eliminating structurally invalid outputs in both cases. This thesis demonstrates that automated alert generation from natural language is feasible, with fine-tuned small models proving to be a competitive alternative to cloud-based solutions.
large language models, alert rule generation, domain-specific generation, structured output generation, RAG, log management systems
Date of defence
19.06.2026
Result of the defence
Defended (thesis was successfully defended)
Grading
A
Process of defence
Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm A.
Topics for thesis defence
Language of thesis
English
Faculty
Fakulta informačních technologií
Department
Department of Computer Systems
Study programme
Information Technology (BIT)
Composition of Committee
prof. RNDr. Alexandr Meduna, CSc. (předseda) prof. Ing. Martin Čadík, Ph.D. (místopředseda) Ing. Jaroslav Rozman, Ph.D. (člen) Ing. Zbyněk Křivka, Ph.D. (člen) Ing. Lukáš Kekely, Ph.D. (člen)
Supervisor’s reportIng. Jiří Setinský
Bakalářskou práci hodnotím velmi kladně. Studentka prokázala schopnost samostatně nastudovat odbornou problematiku, navrhnout a implementovat funkční řešení a dosažené výsledky systematicky experimentálně ověřit. Oceňuji zejména promyšlený návrh celého řešení, porovnání více přístupů a věcnou diskusi dosažených výsledků i limitů navrženého systému. Studentka během řešení pracovala velmi pečlivě, aktivně a samostatně, což se pozitivně odrazilo i na kvalitě odevzdané práce. Na základě výše uvedeného navrhuji hodnocení A a současně doporučuji práci na Cenu děkana.
Zadání bakalářské práce bylo nadprůměrně náročné, protože vyžadovalo zvládnutí jak teorie velkých jazykových modelů, tak praktického návrhu, implementace a evaluace systému pro generování Blockly XML alertů v prostředí Logmanager. Práce vznikala v rámci projektu AI4LOG realizovaného ve spolupráci s CESNET. Předložené výsledky hodnotím velmi kladně, neboť autorka splnila všechny body zadání, navrhla funkční řešení a jeho vlastnosti ověřila systematickým experimentálním vyhodnocením.
Studentka pracuje s relevantní odbornou literaturou k tématům velkých jazykových modelů, analýze logů, SIEM systémů a prostředí Logmanager. Teoretická poznatky vhodně propojuje s návrhem a implementací vlastního řešení.
Studentka během řešení pracovala výborně. Konzultace probíhaly pravidelně. Studentka byla velmi iniciativní, byla vždy dobře připravena a přicházela i s vlastními inovativními návrhy řešení.
Na práci studentka pracovala soustavně po celou dobu řešení, což se pozitivně promítlo do možnosti průběžně a iterativně zpřesňovat návrh, implementaci i výslednou textovou část práce. Předložená práce tak působí promyšleně, pečlivě dopracovaně a jako celek velmi konzistentně.
Grade proposed by supervisor: A
Reviewer’s reportIng. Martin Žádník, Ph.D.
Vzhledem k obtížnosti, rozsahu, kvalitě textu a dosaženým výsledkům navrhuji hodnocení stupněm A a navrhuji práci na cenu děkana.
Evaluation level: more difficult assignment
Zadání bylo obtížnější, neboť vyžadovalo nastudovat různé varianty přístupu pro převod definice tzv. alertu do přirozeného jazyka do strojově čitelné podoby.
Zpráva velmi dobře prezentuje danou problematiku a dosažené výsledky. Zpráva je logicky členěna a čtenáři poskytuje informace ve správný čas, jako jsou například důvody pro provedení daných experimentů a analýza výsledků experimentů.
Práce je typograficky i jazykově (angličtina) na vysoké úrovni.
Realizační výstup v podobě je dostatečně zdokumentovaný a velmi dobře naplňuje požadavky zadání. Nad rámec zadání je součastí realizačního výstupu i tvorba datové sady.
Výsledky práce jsou využitelné v praxi pro převod definice alertu z přirozeného jazyka do strojově čitelné podoby. Z výsledků porovnání je patrné, že se studentce podařilo překonat schopnosti velkých jazykových modelů, pomocí pečlivé optimalizace menšího modelu s kombinací dodatečných technik pro zpracování výstupu.
Evaluation level: assignment fulfilled, and the work contains significant extensions
V rámci práce bylo zkoumáno a implementováno hned několik přístupů a technik pro dosažení co nejvyšší úspěšnosti převodu přirozeného jazyka na alert.
Evaluation level: exceeds the usual extent
Práce odpovídá obvyklému rozmezí. Všechny kapitoly jsou informačně bohaté.
Práce správně cituje zdroje a aktuální relevantní literaturu.
Grade proposed by reviewer: A
Responsibility: Mgr. et Mgr. Hana Odstrčilová