Student prokázal samostatnost při dohledávání odborné a relevantní literatury.

Práce nebyla dokončena s dostatečným předstihem pro důkladnou konzultaci experimentální části.

Abstrakt je podle mě velmi nejasný. Zmiňuje Sentinel, ale není z něj zřejmé, co je Sentinel, jaký problém řeší, proč je tento problém důležitý ani jak k němu student přistupuje. Bez přečtení zadání práce bych z abstraktu nerozuměl tomu, čemu se práce věnuje.

Úvod je lepší, motivace je zde popsána srozumitelně. Bylo by však vhodné doplnit i stručný popis toho, jak bylo k řešení přistupováno a co práce konkrétně přinesla.

Teoretická část věnovaná LLM je spíše stručná, málo strukturovaná a příliš se nehrne do hloubky. Chybí širší motivace k použití LLM systémů, jejich praktické nasazení a důvody, proč je důležité jejich bezpečnostní testování. Kapitola 2 působí jako velký blok textu a výrazně by jí pomohly obrázky nebo architektonické diagramy.

Podobný problém má i kapitola 3. Informace v ní jsou, ale jsou prezentovány převážně jako dlouhé bloky textu. Členění do podsekcí, tabulek, bullet listů nebo diagramů by práci výrazně pomohlo. Některé obrázky navíc působí příliš informativně, například obrázek 3.5.

Pozitivně hodnotím tabulku porovnávající existující frameworky a také analýzu gaps, která je zpracována dobře. Velmi dobrý je i nápad mapovat návrh systému přímo na identifikované nedostatky existujících nástrojů. Problémem zůstává hlavně způsob prezentace, protože text je obtížně čitelný a špatně se v něm orientuje.

Realizační výstup má rozumný návrh. Oceňuji analýzu požadavků, důraz na reprodukovatelnost, použití manifestů, seedů a mapování požadavků na konkrétní části návrhu. Tyto části ukazují, že student nad návrhem frameworku přemýšlel systematicky.

Zásadní slabinou je ale absence reálného testování v technické zprávě. Práce neukazuje, že framework byl skutečně použit k red teamingu konkrétního modelu, jaké útoky byly spuštěny, jaké výsledky byly získány a zda poskytuje prakticky využitelné výstupy. Bez této části je obtížné posoudit funkčnost a přínos implementace.

Měření doby běhu nad dummy operacemi není dostatečnou validací nástroje. Pro takovýto typ práce bych očekával alespoň základní experiment, ve kterém bude framework spuštěn nad konkrétním LLM modelem, s vybranou sadou útoků a následnou analýzou výsledků.

Evaluation level: zadání téměř splněno

Student provedl analýzu existujících frameworků pro red teaming LLM systémů, identifikoval jejich nedostatky a navrhl vlastní řešení. Pozitivně hodnotím zejména analýzu existujících přístupů, identifikaci jejich nedostatků a následné mapování návrhu na tyto nedostatky.

Za problematické považuji experimentální ověření navrženého frameworku. Přestože práce deklaruje testování na vybraném modelu, prezentovaná evaluace je zaměřena převážně na technické vlastnosti frameworku a jeho běh, nikoli na jeho účinnost při red teamingu jazykových modelů. Testování navíc probíhá pouze ve velmi omezeném rozsahu na jednom modelu, což neposkytuje dostatečný základ pro posouzení praktické použitelnosti navrženého řešení.

Zadání přitom explicitně klade důraz na vyhodnocení úspěšnosti útoků. V práci však chybí odpovídající kvantitativní vyhodnocení pomocí metrik typu Attack Success Rate a není tak dostatečně doloženo, zda framework skutečně plní svůj hlavní účel. Tuto část proto považuji za splněnou pouze částečně.

Při obhajobě bych doporučil detailněji demonstrovat, jakým způsobem byl framework použit při testování reálných modelů, jaké útoky byly provedeny a jaké výsledky z hlediska úspěšnosti útoků byly dosaženy.

Práce využívá relevantní zdroje, včetně odborných publikací a technických prací z oblasti red teamingu a bezpečnosti LLM systémů. Použitá literatura je tematicky vhodná. U části zdrojů jde však o arXiv preprinty, u kterých je potřeba brát v úvahu, že nemusely projít recenzním řízením.