Zadání diplomové práce považuji za průměrně až mírně nadprůměrně náročné, zejména vzhledem k nutnosti navázat na existující platformu a rozšířit ji o prakticky použitelnou webovou aplikaci pro anotaci logovacích dat. Student splnil cíle práce a vytvořil funkční řešení podporující správu datasetů, manuální anotaci, asistovanou anotaci pomocí regulárních výrazů i využití lokálně provozovaného velkého jazykového modelu. Kladně hodnotím také začlenění mechanismů pro zefektivnění práce s většími datasety a integraci s Apache Airflow.

Výsledky studenta byly využity v rámci obhajoby projektu MVČR s identifikačním kódem VB02000059. V současné době je aplikace nasazena ve dvou organizacích kritické infrastruktury se SIEM systémy, kde probíhá fáze vyhodnocení a PoC se sběrem zpětné vazby.

K aktivitě studenta nemám jedinou výtku. Kromě toho, že sám přišel s tímto tématem práce, se pravidelně účastnil konzultací k DP se svým konzultantem, na které chodil připravený. Sám přicházel s nápady, jak práci dále posunout, a výborně je komunikoval. Výsledky byly tvořeny průběžně. Student měl důkladný systematický přístup. 

Evaluation level: assignment fulfilled with minor reservations

Zadání považuji za splněné, avšak s výhradou k bodu 2. Student sice zkoumá oblast normalizace a zpracování logů, ale nerozebírá metody pro jejich anotaci, obohacování, kontrolu kvality a odhalování chybně označených dat. Tyto problémy sice adresuje ve své aplikaci, ale v kontextu zadání to nestačí.

Technická zpráva má logickou strukturu a jednotlivé kapitoly na sebe přirozeně navazují. Student nejprve uvádí potřebný kontext systémů SIEM a normalizace logů, následně popisuje existující platformu LogSolve a poté přechází k návrhu, implementaci a ověření vytvořené aplikace. Text je pro čtenáře celkově srozumitelný a dobře vysvětluje, jakou roli má nová komponenta v širší infrastruktuře plnit. Silnou stránkou práce je zejména kvalitní specifikace požadavků a pěkně zpracovaný návrh aplikace. Pozitivně hodnotím také množství schémat a obrazovek uživatelského rozhraní, včetně obsáhlé přílohy se screenshoty. Na schématech student také jasně ilustruje, které části v rámci diplomové práce řeší a které jsou dílem jiných členů týmu.

V teoretické rešerši bych ocenil přehled existujících nástrojů a přístupů pro anotaci logů. Sekci 4.4 o volbě technologií by bylo vhodnější umístit spíše do kapitoly o implementaci. Vyhodnocení pracuje s 80 trénovacími a 20 testovacími logy, přičemž výsledný přírustek ve skóre F1 je znatelný. Zároveň je zde ale použit poměrně malý demonstrační dataset, tudíž mi tvrzení typu "aplikace je plně připravena k nasazení v reálném provozu" (v rozšířeném abstraktu) nebo "the output from the adaptive mode is fully sufficient" (v kap. 6) přijdou příliš silná. Práce by také mohla lépe vysvětlovat, jak návrhová a implementační rozhodnutí refelektují specifikované požadavky na aplikaci a jak bylo jejich splnění ověřeno. Text sice jejich splnění diskutuje, ale spíše slovně a nepříliš konrétně.

Bibliografie zahrnuje 31 pramenů, což je pro diplomovou práci dostačující. Všechny z nich jsou relevantní řešenému tématu. Online reference 1-6 jsou poněkud minimalistické a očekával bych u nich alespoň jméno autora, instituce, či firmy. U položky 10 je překlep "Thiry-Fourth". V názvu pramenu 23 je pak psáno "T̈hinking AloudM̈ethod" (německý "umlaut" (¨), zatímco původní zdroj má v názvu uvozovky).

Výraznější prohřešky vůči citační etice jsem neobjevil. U algoritmu MurmurHash3 chybí odkaz na zdroj či definici (SimHash nestačí). V sekci 4.2.1 student píše "LLMs proved to be the most effective", ale není jasné, na čem toto tvrzení staví. Podobně u tvrzení o výpočetní náročnosti LLM.

Hlavní úskalí práce s literaturou vidím ve skutečnosti, že rešerše málo pokrývá samotnou anotaci dat. Zvolené zdroje se jí dotýkají spíše okrajově. Chybí prameny, které by se zabývaly anotací dat (či logů) jako takovou, LLM-asistovanou anotací, případně kontrolou kvality a detekcí špatně označených vzorků.

Výsledky práce mají jasný praktický potenciál. Dílo rozšiřuje existující platformu LogSolve o webový nástroj pro správu, anotaci a adaptivní zlepšování datasetů logovacích dat. Řešení může být využitelné zejména jako podpůrný nástroj při přípravě kvalitnějších trénovacích dat pro modely syntaktické analýzy logů v prostředí SIEM. Před nasazením v reálném provozu by však bylo vhodné doplnit rozsáhlejší validaci na větších a různorodějších datasetech, přidat sofistikovanější automatizované testy a především k řešení vytvořit odpovídající dokumentaci.