Bakalářská práce se věnuje využití velkých jazykových modelů (LLM) pro podporu penetračního testování v lokálním nasazením. Výstupem práce je AI asistent, který na základě metodologie OWASP navádí uživatele během testování a umožňuje generování reportů. V teoretické části student popisuje problematiku penetračního testování, čemuž následuje popis principů fungování LLM. Součástí je také srovnání 13 lokálních modelů, na základě kterého student zdůvodnil výběr tří kandidátů pro praktickou realizaci.

V praktické části je představen návrh a implementace AI asistenta. Kladně hodnotím využití metody RAG se znalostní bází obsahující vektorizované dokumenty OWASP ASVS 5.0 a WSTG. Student vyvinul vlastní řešení skládající se z webové aplikace, REST API, lokálního CLI a klientského API skriptu. Řešení bylo následně ověřeno na zranitelné aplikaci pod vedením AI asistenta, ve kterém byly vybrané modely srovnány z hlediska rychlosti a relevance odpovědí. Výsledné hodnocení modelů je věcné a podložené konkrétními zjištěnými nedostatky.

Po formální stránce je práce na dobré úrovni a obsahuje minimum překlepů nebo typografických chyb. Výtku bych měl pouze k snímkům obrazovek, které mohly být provedeny ve vyšší kvalitě a jednotném formátu. Citováno je celkem 36 zdrojů složených převážně z odborných publikací a dokumentací k použitým nástrojům a technologiím.

Veškeré stanovené cíle bakalářské práce považuji za splněné. Student práci pravidelně konzultoval, vyvinutý asistent je funkční a s ohledem na lokální nasazení vhodně řeší práci s citlivými daty. Na základě uvedených skutečností doporučuji práci k obhajobě s hodnocením A/92. Points proposed by supervisor: 92

Student Daniel Linduška se věnoval ve své práci výzkumu a praktickému využití moderních metod umělé inteligence (AI), zejména velkých jazykových modelů, k podpoře penetračního testování. Hlavním cílem bylo analyzovat možnosti využití velkých jazykových modelů v oblasti penetračního testování a navrhnout vlastní systém AI asistenta. Student ve své bakalářské práci splnil zadání v plném rozsahu. Hlavním přínosem byl vlastní návrh a implementace PentestAssistant a jeho experimentálnímu ověření. Návrh AI asistenta využívá RAG architektury, vektorovou databázi ChromaDB naplněnou daty OWASP ASVS a WSTG a modulární aplikaci (web + CLI + API) – viz obr.3.1. Oceňuji využití moderních technologií (Flask, Ollama, LangChain), důraz na bezpečnost (lokální běh modelů, správa API klíčů) a velmi kvalitní návrh architektury systému. Práce vykazuje znaky samostatné tvůrčí činnosti a odpovídá úrovni kvalitního inženýrského návrhu. Teoretická část práce je zpracována přehledně a systematicky. Student zde detailně popisuje fáze a typy penetračního testování, představuje principy velkých jazykových modelů včetně jejich architektury a omezení (např. halucinace), provádí srovnání vybraných LLM modelů.  Dále student odůvodní volbu Ollama pro lokální nasazení a verifikaci asistenta. V poslední části práce student provedl experimentální testování na platformě OWASP BWA, kde bylo provedeno srovnání modelů (Llama, Gemma, Falcon). Výsledky jsou interpretovány správně a prokazují, že integrace RAG výrazně zvyšuje kvalitu odpovědí modelů. Práci navrhuji k obhajobě s hodnocením A. Topics for thesis defence:

1. Jaké jsou hlavní limity použití LLM v penetračním testování z hlediska bezpečnosti?
2. Proč nebyly testovány LLM modely se větším počtem parametrů např. 20b nebo 31 b ?

Points proposed by reviewer: 92