Bachelor's Thesis

Generative Language Models for Automatic Error Correction and Enhanced Data Network Security

Final Thesis 2.09 MB Appendix 1.39 MB

Author of thesis: Viktorie Lengálová

Acad. year: 2025/2026

Supervisor: prof. Ing. Radim Burget, Ph.D.

Reviewer: Ing. Martin Rosa

Abstract:

Network management represents a significant operational burden for organisations, placing high demands on specialist expertise, time and financial resources. Fast and accurate diagnosis of network faults directly affects service availability and user productivity. This bachelor's thesis presents the design, implementation and experimental evaluation of multi-agent systems using locally deployable generative language models for automatic fault diagnosis in data networks. Three multi-agent system architectures were designed, differing in the number of specialised agents and the approach to dividing the diagnostic task. Each architecture was tested with five language models — GPT-OSS 20B, GPT-OSS 120B, Qwen 2.5, Qwen 3.5 and gemma4. The best result was achieved by the combination of GPT-OSS 120B in the MAS-γ architecture, which reached a weighted accuracy of 69.0 % and a strict accuracy of 64.3 %. The experiments demonstrated that diagnostic quality depends primarily on the appropriate selection and scope of input data, as an excessive volume of information leads to reduced accuracy. The thesis confirms that modern locally deployable language models represent a viable option for supporting network diagnostics as a first-level analysis layer, without the need to transmit sensitive data outside the organisation's infrastructure.

Keywords:

Autogen, network security, generative language models, fault detection, network device configuration, multi-agent systems, OLLAMA, artificial intelligence

Date of defence

16.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Studentka prezentovala výsledky své práce a komise byla seznámena s posudky. Studentka obhájila bakalářskou práci a odpověděla na otázky členů komise a oponenta. Otázky: 1. V podkapitole „Vyhodnocení a kritéria testů" uvádzate tri možné prípady vyhodnotenia testu. Ani jeden z nich však nepracuje so zmiešanými scenármi – napríklad keď systém chybu správne opraví, no zároveň identifikuje aj falošne pozitívnu chybu. Nastal takýto prípad počas testovania? Ak áno, ako bol vyhodnotený? 2. Byl ještě jiný důvod použití lokálních jazykových modelů? 3. Na jakém hardwaru byly modely zprovozňovány?

Language of thesis

Czech

Faculty

Department

Study programme

Information Security (BPC-IBE)

Composition of Committee

prof. Ing. Radim Burget, Ph.D. (předseda)
doc. Ing. Lukáš Malina, Ph.D. (místopředseda)
Mgr. Jakub Vostoupal, Ph.D. (člen)
Ing. Martin Zukal, Ph.D. (člen)
Ing. Martin Jonák, Ph.D. (člen)
Ing. Michal Švento (člen)
Ing. Willi Lazarov (člen)

Supervisor’s report
prof. Ing. Radim Burget, Ph.D.

akalářská práce je na vynikající úrovni a studentka beze zbytku splnila všechny body náročného zadání. Velmi oceňuji, že se dokázala úspěšně zorientovat v pokročilé problematice multiagentních systémů a lokálních LLM, která nebyla přímým předmětem jejího studia. Studentka pracovala velmi samostatně, přicházela s vlastními nápady a vytvořila funkční systém v prostředí OLLAMA a AutoGen, včetně rozšíření testovací databáze v Packet Traceru. Navržené architektury (zejména úspěšná MAS-$\gamma$) prokazují vysokou kvalitu inženýrského přístupu, přičemž dosažené výsledky s modely jako GPT-OSS 120B byly exaktně statisticky vyhodnoceny. Práce má silný aplikační potenciál pro bezpečnou on-premise síťovou diagnostiku. Práci doporučuji k obhajobě s hodnocením A (výborně). Points proposed by supervisor: 90

Grade proposed by supervisor: A

Reviewer’s report
Ing. Martin Rosa

Študentka Viktorie Lengálová vypracovala bakalársku prácu na tému „Generativní jazykové modely pro automatickou opravu chyb a zvýšení bezpečnosti datových sítí". Teoretická časť popisuje multiagentové systémy (MAS) a jazykové modely. Táto časť je spracovaná dostatočne podrobne, čo svedčí o autorkinej znalosti tejto témy. Práca s literatúrou je tiež na dobrej úrovni. Zdrojov je síce menej, ale využitie MAS na opravu chýb v sieťach je veľmi nová téma, takže je to pochopiteľné, a teda to nepovažujem za veľký nedostatok práce. Vytkol by som len používanie ilustrácií v rastrovom formáte, keďže správne by mali byť vo vektorovom formáte.
V praktickej časti študentka predstavuje tri navrhnuté architektúry, ktoré sú otestované na dátovej sade s využitím viacerých jazykových modelov. Súčasťou práce je aj vlastná hodnotiaca metóda, ktorá zachytáva možné scenáre a každému z nich priraďuje hodnotiacu známku. Metodológia je popísaná dostatočne a testovanie bolo pomerne rozsiahle, čo považujem za prínos práce. Veľmi oceňujem, že celé riešenie beží na lokálnych jazykových modeloch, čo je vzhľadom na rastúce ceny API komerčných poskytovateľov významným benefitom pre nasadenie v praxi. Presnosť MAS systémov síce nie je vysoká, avšak vzhľadom na novosť a unikátnosť danej témy to nepovažujem za závažný nedostatok. Oceňujem, že výsledky sú v ďalších častiach práce podrobne analyzované. Za obzvlášť zaujímavú považujem korelačnú analýzu a jej zistenie, že jazykové modely s väčším počtom parametrov nemusia zaručovať lepšie výsledky. Páči sa mi aj analýza výkonnostnej náročnosti jednotlivých MAS a jazykových modelov. Práca prináša viacero zaujímavých prínosov, vďaka ktorým ju radím medzi nadpriemerné bakalárske práce.
Celkovo prácu hodnotím ako dobrú a odporúčam ju na obhajobu s hodnotením 95 b – A. Topics for thesis defence:
  1. V podkapitole „Vyhodnocení a kritéria testů" uvádzate tri možné prípady vyhodnotenia testu. Ani jeden z nich však nepracuje so zmiešanými scenármi – napríklad keď systém chybu správne opraví, no zároveň identifikuje aj falošne pozitívnu chybu. Nastal takýto prípad počas testovania? Ak áno, ako bol vyhodnotený?
Points proposed by reviewer: 95

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová