Master's Thesis

Expert System for Assisted Investigation of Cyber Incidents Using Artificial Intelligence in Unstructured Data

Final Thesis 7.31 MB Appendix 77.24 kB

Author of thesis: Ing. Martin Šibor

Acad. year: 2025/2026

Supervisor: Ing. Yehor Safonov

Reviewer: prof. Ing. Kamil Říha, Ph.D.

Abstract:

This diploma thesis focuses on the design and implementation of a multi-agent system based on large language models, intended for assisted investigation of cyber incidents in unstructured data within a Security Operations Center environment. The addressed problem is based on the practice of analysts who are exposed to large volumes of heterogeneous logs and security events, whose manual processing is time-consuming, error-prone and delays the investigation of more severe incidents. The aim of the thesis is to design and implement a system capable of receiving an unstructured security event, converting it into a unified structure, identifying relevant indicators of compromise and enriching them with technical, reputational and internal context. The thesis first defines requirements arising from the Security Operations Center environment. This is followed by a comparison of suitable automation platforms, language models and security services, which serves as a basis for the design of the resulting architecture. The main contribution of the thesis is the proposal of an approach for dividing the processing of a security event between a coordinating agent and specialized agents, unifying the outputs of heterogeneous sources into a single structured representation and enriching them with context from a knowledge base and the history of previously processed events. Emphasis is placed on local deployment of language models, traceability of outputs and preserving the analyst’s decision-making role. Based on the proposed architecture, a functional system is implemented that provides normalization of input events, coordination of specialized agents, enrichment of indicators of compromise and presentation of the result to the analyst in a clear form. The functionality of the solution is verified on a set of test security events. The results show that the proposed system can automatically prepare supporting material for the initial assessment of an incident, make use of both external and internal context and support the analyst in follow-up queries over the knowledge base and the history of processed events.

Keywords:

Assisted investigation, indicators of compromise, knowledge base, large language models, local deployment, multi-agent system, n8n, Ollama, reputation services, Security Operations Center, vector store

Date of defence

09.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil diplomovou práci a odpověděl na otázky členů komise a oponenta. Otázky: 1. Jaké hlavní limity vidíte při nasazení navrženého multiagentního systému v reálném produkčním prostředí SOC? 2. Jakým způsobem by bylo možné zvýšit důvěryhodnost a ověřitelnost odpovědí generovaných jednotlivými agenty? 3. Koľko lokálnych modelov ste použil? 4. Na akom hardware ste to spustil? 5. Bolo by možné zmeniť model? 6. Aký je rozdiel medzi dense modelmi a MOE modelmi? 7. Riešil ste problémy s halucináciami?

Language of thesis

Czech

Faculty

Fakulta elektrotechniky a komunikačních technologií

Department

Department of Telecommunications

Study programme

Information Security (MPC-IBE)

Composition of Committee

Ing. Eva Holasová, Ph.D. (člen)
Ing. Petr Machník, Ph.D. (člen)
doc. Ing. Petr Šiška, Ph.D. (místopředseda)
JUDr. Pavel Loutocký, BA (Hons), Ph.D. (člen)
prof. Ing. Radim Burget, Ph.D. (předseda)
Ing. Petr Blažek, Ph.D. (člen)
Ing. Ondřej Pospíšil, Ph.D. (člen)
Ing. Jorge Truffin (člen)

Supervisor’s report
Ing. Yehor Safonov

Student splnil cíle diplomové práce a navrhl i implementoval funkční multiagentní systém založený na lokálně provozovaných velkých jazykových modelech, určený pro asistovanou investigaci kybernetických incidentů v prostředí SOC. Práce obsahuje dobře zpracovanou teoretickou část, která charakterizuje specifika procesů SOC, hierarchické uspořádání analytických rolí a klíčové provozní problémy bezpečnostních týmů. Tento teoretický základ je dále vhodně rozšířen o rešerši moderních generativních modelů, vektorových znalostních bází, multiagentního přístupu a fungování protokolu MCP, přičemž uvedené poznatky jsou následně účelně propojeny s praktickou realizací platformy. Za silnou stránku práce považuji detailní analýzu vhodných nástrojů, návrh architektury a praktickou implementaci. Student se v rámci výběru orchestrační platformy podrobněji zaměřil na tři relevantní řešení, konkrétně Activepieces, n8n a Windmill, přičemž pro výslednou implementaci kvalifikovaně zvolil platformu n8n. Kladně hodnotím popis použitých technik pro zajištění konzistentnosti a ověřitelnosti výstupů jazykových modelů. Student vytvořil modulární a automatizovaně nasaditelné řešení, které zahrnuje normalizaci bezpečnostních událostí, koordinujícího agenta, specializované agenty pro analýzu IP adres, domén a hashů, napojení na znalostní bázi s využitím modelu qwen3-embedding:8b pro tvorbu vektorových reprezentací, ukládání historických událostí do vektorového úložiště. Součástí řešení je také předání obohaceného výstupu do platformy Mattermost, která slouží jako pracovní rozhraní pro analytika a umožňuje další interakci s událostí, její eskalaci i poskytnutí zpětné vazby. Student pracoval v průběhu zpracování diplomové práce samostatně, pravidelně konzultoval a průběžně prezentoval dosažené výsledky. Práce je logicky členěná, odborně relevantní a dobře navazuje na reálné potřeby SOC. Použitá literatura je aktuální a odpovídá řešené problematice. Mezi drobnější nedostatky řadím místy méně přesné pojmenování a uspořádání některých podkapitol v první kapitole, kde by bylo vhodné lépe provázat, případně sdružit tematicky blízké části věnované problémům ruční analýzy a výzvám práce s nestrukturovanými daty. Dále zmiňuji redundantní členění kapitoly 5 a méně detailní metodické uchopení experimentálního porovnání navržené platformy s běžným manuálním postupem SOC analytika, zejména z pohledu kvantifikace dosaženého zrychlení. Tyto připomínky však nesnižují celkovou kvalitu práce. Celkově hodnotím diplomovou práci jako výborně zpracovanou, technicky přínosnou a velmi dobře připravenou z hlediska návrhu, implementace i ověření funkčního řešení. Navrhuji práci hodnotit známkou A (97 bodů). Points proposed by supervisor: 97

Grade proposed by supervisor: A

Reviewer’s report
prof. Ing. Kamil Říha, Ph.D.

Diplomová práce vhodně propojuje oblast bezpečnostních operačních center s moderními metodami umělé inteligence a zaměřuje se na prakticky využitelné řešení pro práci s nestrukturovanými bezpečnostními daty. Teoretická část práce podává přehled problematiky SOC, řízení incidentů, velkých jazykových modelů i možností automatizace bezpečnostních procesů. Praktická část obsahuje návrh architektury multiagentního systému, analýzu vhodných nástrojů a implementaci funkčního řešení využívajícího platformy n8n, Ollama a vektorovou znalostní bázi. Oceňuji zejména modularitu návrhu, důraz na lokální provoz modelů a snahu o zachování kontrolní role bezpečnostního analytika. Práce je zpracována přehledně, má logickou strukturu a odpovídající odbornou úroveň. Autor prokázal schopnost samostatné práce, orientaci v aktuálních technologiích i schopnost navrhnout a implementovat komplexnější systém. Přínosem práce je zejména praktická realizace funkčního prototypu a ověření jeho použití na testovacích bezpečnostních událostech. Drobné výhrady lze mít k omezenému rozsahu experimentálního vyhodnocení a absenci detailnější kvantifikace přínosu systému vůči běžnému postupu SOC analytika.
Vzhledem k uvedenému práci doporučuji hodnotit 95 body, tedy klasifikačním stupněm A. Topics for thesis defence:
  1. Jaké hlavní limity vidíte při nasazení navrženého multiagentního systému v reálném produkčním prostředí SOC?
  2. Jakým způsobem by bylo možné zvýšit důvěryhodnost a ověřitelnost odpovědí generovaných jednotlivými agenty?
Points proposed by reviewer: 95

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová