Master's Thesis

Improving detection and protection against anti‑sandbox techniques

Author of thesis: Ing. Jakub Kratochvíl

Acad. year: 2025/2026

Supervisor: Ing. Daniel Snášel

Reviewer: doc. Mgr. Kamil Malinka, Ph.D.

Abstract:

Automated sandboxes are essential for scaling malware analysis, but sophisticated malware increasingly employs anti-sandbox techniques that detect such environments and suppress malicious behavior. This thesis proposes enhancements to the CAPEv2 sandbox environment deployed in the malware analysis pipeline at Gen Digital Inc. First, 84 simulation samples across 29 anti-sandbox techniques are developed to assess existing signature coverage, resulting in 40 implemented CAPEv2 detection signatures. Building on this foundation, three modules are designed and built: a detector for evasive early exits of malware, BIOS-level hardening of the analysis virtual machine against firmware fingerprinting, and an automated direct system call tracer using ETW (Event Tracing for Windows).

Keywords:

malware analysis, sandbox environment, sandbox environment evasion, detection signature, anti-sandbox, CAPEv2, ETW, system call, firmware, SeaBIOS

Date of defence

23.06.2026

Date of publish

22.06.2029

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Proč byla práce se sandboxem problematická?
  2. Která část práce byla nejsložitější na implementaci?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Cybersecurity (NSEC)

Composition of Committee

doc. Mgr. Kamil Malinka, Ph.D. (předseda)
doc. Ing. Ivan Homoliak, Ph.D. (místopředseda)
Ing. Vojtěch Havlena, Ph.D. (člen)
doc. Ing. Ondřej Ryšavý, Ph.D. (člen)
Ing. Vladimír Veselý, Ph.D. (člen)
Ing. Tomáš Goldmann, Ph.D. (člen)

Supervisor’s report
Ing. Daniel Snášel

K řešení student přistupoval samostatně a s vlastní iniciativou — sám navrhoval řešení dílčích problémů a aktivně komunikoval s konzultanty. Tracer přímých systémových volání byl studentův vlastní nápad nad rámec zadání. Přínos práce je měřitelný: míra detekce anti-sandbox technik vzrostla více než trojnásobně (z 8,28 % na 27,94 %) na datové sadě 766 459 unikátních vzorků. Všechny moduly byly nasazeny a ověřeny v testovacím produkčním prostředí Gen Digital Inc. Práce je technicky na vysoké úrovni. Navrhuji hodnocení A.


Komisi doporučuji zvážit nominaci studenta na některou z odborných cen, například na cenu IT SPY.

Evaluation criteria Verbal classification
Information about assignment

Práce se zabývá vylepšením detekce a ochrany proti anti-sandbox technikám v sandboxovém prostředí CAPEv2 nasazeném ve společnosti Gen Digital Inc. Zadání hodnotím jako náročné — student musel zvládnout čtyři technické oblasti najednou: principy anti-sandbox technik a jejich klasifikaci, nízkoúrovňové vnitřní mechanismy Windows (firmware, systémová volání, odchytávání funkcí), virtualizaci (QEMU/KVM/SeaBIOS) a vývojové prostředí CAPEv2. Student navrhl a implementoval tři moduly: hardening firmware tabulek v SeaBIOS, detekci předčasného ukončení procesu po anti-sandbox kontrole a Tracer přímých systémových volání pomocí ETW. Zadání bylo splněno ve všech osmi bodech.

Activity during solution, consultations, communication

Práce byla odevzdána v termínu. Připomínky vedoucího z průběžných konzultací byly zapracovány do finální verze.

Publication activity, awards

Student prezentoval svou práci na Excel@FIT, kde byl oceněn dvěma průmyslovými společnostmi.

Work with literature

Student aktivně pracoval s doporučenou literaturou i dalšími zdroji, které si sám vyhledal.

Activity during solution, consultations, communication

Student pravidelně konzultoval práci s vedoucím i konzultanty (Bc. Michal Bandzi, Ing. Miroslav Drbal). Konzultace byly produktivní a student vždy přicházel s konkrétními výsledky.

Points proposed by supervisor: 100

Grade proposed by supervisor: A

Reviewer’s report
doc. Mgr. Kamil Malinka, Ph.D.

Předloženou práci považuji za excelentně zpracovanou. Student výrazně překročil požadavky zadání, provedl detailní analýzu řešené problematiky, vytvořil rozsáhlý realizační výstup a své řešení kvalitně otestoval i zdokumentoval. Student prokázal hluboké a detailní znalosti řešené problematiky, dobře zdůvodnil architektonická rozhodnutí a velmi kvalitně popsal implementaci. Práce je přehledná, srozumitelná, velmi dobře strukturovaná a doplněná kvalitními vizualizacemi. Oceňuji také reprodukovatelnost řešení, důsledný popis datasetu a testování i praktickou využitelnost výsledků.

Evaluation criteria Verbal classification Points
The extent to which the requirements of the assignment have been met

Evaluation level: assignment fulfilled, and the work contains significant extensions

Zadání bylo splněno ve výrazně rozšířeném rozsahu. Student měl zpracovat alespoň 15 technik, ve výsledku jich však realizoval 29 a na jejich základě vytvořil 40 detekčních signatur. Rozsah řešení tak výrazně převyšuje požadavky zadání. Oceňuji také velké množství vlastních příkladů, které student pro účely práce vytvořil.

Extent of the technical report

Evaluation level: is within the usual extent

Rozsah technické zprávy považuji za odpovídající obvyklému rozsahu. Text je informačně bohatý a jednotlivé části jsou pro práci relevantní. Student vhodně strukturuje obsah tak, že detailně prezentuje vybrané reprezentativní příklady, zatímco zbytek doplňuje v přílohách a ve velmi dobře komentovaném kódu.

Presentation level of the technical report

Technická zpráva má výbornou logickou strukturu a jednotlivé části na sebe vhodně navazují. Text je srozumitelný, přehledný a dobře čitelný. Student velmi detailně analyzuje anti-sandbox techniky a výsledky předává jasným a pochopitelným způsobem. Pozitivně hodnotím také kvalitní vizualizace a celkovou prezentační úroveň práce, ke které nemám zásadní výhrady.

100
Formal preparation of a technical report

Formální úroveň technické zprávy je velmi dobrá. Práce obsahuje pouze minimální množství typografických a jazykových chyb. Text je zpracován pečlivě a po formální stránce působí velmi kvalitně.

90
Work with literature

Student pracuje s velkým množstvím kvalitních a relevantních publikací. Výběr zdrojů odpovídá tématu práce a podporuje jak analytickou, tak realizační část. 

95
Realisation output

Realizační výstup považuji za excelentní. Student měl jasně sepsané cíle a požadavky, podle kterých řešení navrhoval a implementoval. Všechna designová rozhodnutí jsou kvalitně zdůvodněná a vysvětlená. Implementace je srozumitelně popsaná a reprodukovatelná, včetně konfigurace použitých nástrojů.

Vedle detekce student musel implementovat i množství útoků, aby měl na čem ověřovat. Velmi pozitivně hodnotím také návrh testování. Student připravil vhodnou testovací metodiku, včetně baseline pro porovnání účinnosti, a detailně popsal testování až na úroveň jednotlivých tasků. Dataset je popsán důsledně a výsledky jsou přesvědčivé.

Došlo k výraznému zvýšení detekce, a tedy ke zlepšení chování celého řešení. 

100
Usability of results

Výsledky práce jsou přímo využitelné v praxi. Řešení bude integrováno do produktu společnosti GEN a představuje významné zlepšení detekčních schopností. 

The difficulty of the assignment

Evaluation level: more difficult assignment

Zadání považuji za průměrně obtížné. 

Points proposed by reviewer: 95

Grade proposed by reviewer: A

Reasons for publication postponement

Publication of the final thesis has been postponed in compliance with the provisions of Section 47b (4) of Act No. 111/1998 Coll., on the Higher Education Institutions and on amendments and supplements to other acts, as amended.

Responsibility: Mgr. et Mgr. Hana Odstrčilová