Bachelor's Thesis

AI-driven Cybersecurity Skills Trends Identification

Final Thesis 6.27 MB Appendix 7.62 MB

Author of thesis: Bc. Viktor Janda

Acad. year: 2025/2026

Supervisor: M.Sc. Sara Ricci, Ph.D.

Reviewer: Ing. Petr Dzurenda, Ph.D.

Abstract:

This thesis investigates two Natural Language Processing (NLP)-based approaches for identifying cybersecurity skills and assigning European Cybersecurity Skills Framework (ECSF) profiles defined by The European Union Agency for Cybersecurity (ENISA). The first approach uses semantic similarity between job advertisements and ECSF profiles through sentence embeddings, while the second applies a skills-oriented Long Short-Term Memory (LSTM)-based model for cybersecurity skill prediction. The work also improves the original skills-oriented pipeline and implements an interactive web application deployed on Hugging Face Spaces. The methods were evaluated on real-world cybersecurity job advertisements with manually assigned ground-truth ECSF profiles. The similarity-based method identified the correct profile among the top three predictions in 95% of cases. The improved skills-oriented method achieved 55% top-three accuracy and 25% top-one accuracy on the 20-ad evaluation set. Although the skills-oriented approach improved over the original version, the results show that semantic similarity is more reliable for automated ECSF profile matching.

Keywords:

Cybersecurity; NLP; ENISA; ECSF; semantic similarity; job classification; skill extraction; text analysis; machine learning

Date of defence

16.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Otázky oponenta: Jak byste řešil situaci, kdy pracovní inzerát jednoznačně odpovídá více ECSF profilům současně? Jaký je praktický význam metriky Top-3 accuracy? Lze tři nejlépe hodnocené ECSF profily považovat za relevantní charakteristiky dané pozice, nebo je pro určení správného profilu stále nezbytné odborné posouzení analytikem? Jakým způsobem by bylo možné automatizovat sběr pracovních inzerátů tak, aby bylo možné provádět průběžnou nebo téměř real-time analýzu trhu práce? Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil bakalářskou práci a odpověděl na otázky členů komise a oponenta.

Language of thesis

English

Faculty

Fakulta elektrotechniky a komunikačních technologií

Department

Department of Telecommunications

Study programme

Information Security (BPC-IBE)

Composition of Committee

doc. Ing. Jiří Hošek, Ph.D. (předseda)
doc. Ing. Petr Sysel, Ph.D. (místopředseda)
Mgr. Andrej Krištofík, Ph.D. (člen)
Ing. Martin Štůsek, Ph.D. (člen)
Ing. Radek Možný, Ph.D. (člen)
Ing. Michal Lares, Ph.D. (člen)
Ing. Patrik Dobiáš (člen)

Supervisor’s report
M.Sc. Sara Ricci, Ph.D.

Práce se zaměřuje na identifikaci současných a nově vznikajících potřeb v oblasti kybernetických dovedností prostřednictvím analýzy pracovních inzerátů za využití přístupů založených na podobnosti a analýze dovedností. Student vyvinul demonstrační interaktivní webovou aplikaci prezentující dosažené výsledky. Student splnil zadání. Rozsah práce odpovídá očekávanému rozsahu bakalářské práce. Text práce je napsán kvalitně, srozumitelně a bez významnějších chyb. Oceňuji také, že práce je zpracována v anglickém jazyce. Využití odborné literatury je na dobré úrovni. Student byl po celý semestr aktivní a svou práci pravidelně konzultoval. Oceňuji jeho samostatné odhalení a opravu chyby v implementaci, která přispěla ke zvýšení přesnosti analýzy potřebných dovedností. Celkově hodnotím práci i dosažené výsledky jako velmi kvalitní a doporučuji ji k obhajobě s hodnocením A / 95 bodů. Points proposed by supervisor: 95

Grade proposed by supervisor: A

Reviewer’s report
Ing. Petr Dzurenda, Ph.D.

Prezentační úroveň práce i její rozsah jsou na velmi dobré úrovni. Z formálního hlediska práce obsahuje několik nedostatků: některé zkratky nejsou definovány při prvním výskytu, některé obrázky mají nedostatečné rozlišení, některé stránky obsahují větší množství nevyužitého prostoru a v textu se vyskytují typografické chyby typu sirotek/vdova. Práce s odbornou literaturou je na dobré úrovni, avšak některé kapitoly postrádají odkazy na použité zdroje. Po odborné stránce je práce na velmi dobré úrovni. Student navrhl a implementoval webovou aplikaci pro analýzu pracovních inzerátů z oblasti kybernetické bezpečnosti využívající metody NLP a strojového učení. Implementoval a experimentálně porovnal dva přístupy (skills-oriented a similarity-oriented) k přiřazování pracovních pozic k profilům ECSF. Similarity-oriented metoda identifikovala správný profil mezi třemi nejlepšími predikcemi v 90 % případů. Za slabší stránku práce považuji nedostatečný popis použitého datasetu a procesu trénování modelu. Vyhodnocení je navíc založeno pouze na 20 pracovních inzerátech, takže dosažené výsledky nelze považovat za statisticky průkazné. Práce také dostatečně neřeší případy, kdy jeden inzerát odpovídá více ECSF profilům, což komplikuje interpretaci dosažené metriky Top-3 accuracy. Celkově hodnotím práci známkou A, 90 bodů. Topics for thesis defence:
  1. Jak byste řešil situaci, kdy pracovní inzerát jednoznačně odpovídá více ECSF profilům současně?
  2. Jaký je praktický význam metriky Top-3 accuracy? Lze tři nejlépe hodnocené ECSF profily považovat za relevantní charakteristiky dané pozice, nebo je pro určení správného profilu stále nezbytné odborné posouzení analytikem?
  3. Jakým způsobem by bylo možné automatizovat sběr pracovních inzerátů tak, aby bylo možné provádět průběžnou nebo téměř real-time analýzu trhu práce?
Points proposed by reviewer: 90

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová