Bachelor's Thesis

Tool for interactive mapping of web resources

Final Thesis 7.58 MB Appendix 12.98 kB

Author of thesis: Bc. Rastislav Veteška

Acad. year: 2025/2026

Supervisor: Ing. Willi Lazarov

Reviewer: Ing. David Kohout, Ph.D.

Abstract:

This thesis addresses the topic of Open Source Intelligence (OSINT), which we define as the process of transforming legally and publicly available data into actionable intelligence. Today, the volume of data has long exceeded the capabilities of manual extraction, requiring the use of automated techniques such as web scraping. One of the objectives of this thesis is to analyze the technical obstacles these processes face. Modern web applications implement sophisticated protection mechanisms, including CAPTCHA systems, rate limiting,
and advanced behavioral analysis of users based on mouse movements and interaction patterns. These measures significantly limit the effectiveness of traditional automated approaches and create a need for tools capable of simulating human behavior directly within the browser environment. The thesis presents and compares three existing web extensions for data collection. Based on the identification of their shortcomings, a new software solution in the form of a browser extension is designed and implemented. The final section of the thesis is devoted to experimental testing of the proposed tool.

Keywords:

Open Source Intelligence, OSINT, intelligence cycle, web scraping, large language models, anti-bot measures, CAPTCHA, reCAPTCHA v3, web extensions

Date of defence

16.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaCznamka

Grading

C

Process of defence

Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil bakalářskou práci s výhradami a odpověděl na otázky členů komise a oponenta. Otázky: Jak složité by bylo navržené rozšíření přenést i do dalších webových prohlížečů, například Mozilla Firefox? Které části implementace by bylo nutné upravit? Hlavní ovládání nástroje je realizováno prostřednictvím popup okna. Zvažoval jste využití bočního panelu (sidebaru), který je v moderních prohlížečích běžně dostupný? Jak složitá by byla jeho implementace a jaké výhody či nevýhody by takové řešení přineslo? V jakých konkrétních oblastech či aplikacích spatřujete největší potenciál pro využití Vašeho řešení? Proč jste se chtěl vyhnout další automatizaci web scrapingu?

Language of thesis

Slovak

Faculty

Department

Study programme

Information Security (BPC-IBE)

Composition of Committee

prof. Ing. Jan Hajný, Ph.D. (předseda)
doc. Ing. Pavel Mašek, Ph.D. (místopředseda)
Mgr. Václav Stupka, Ph.D. (člen)
Ing. Adrián Tomašov, Ph.D. (člen)
Ing. Jan Dvořák, Ph.D. (člen)
Ing. David Kohout, Ph.D. (člen)
Ing. Vojtěch Sikora (člen)

Supervisor’s report
Ing. Willi Lazarov

Bakalářská práce se věnuje zpravodajství z otevřených zdrojů (OSINT) se zaměřením na interaktivní mapování a extrakci dat z webových zdrojů. V teoretické části student popisuje doménu OSINT a techniky web scrapingu včetně jejích limitací. Tomu následuje srovnání tří existujících nástrojů, na základě kterého student identifikoval jejich nedostatky a zdůvodnil potřebu vlastního řešení.

V praktické části je představen návrh nástroje, čemuž následuje vlastní implementace. Vyvinuté řešení ve formě doplňku do prohlížeče kombinuje interaktivní výběr prvků s exportem do formátů CSV a JSON včetně podpory odesílání dat na vzdálený server přes API. Kladně hodnotím anotaci vybraných selektorů pro možnost jejich využití při vývoji plně automatických web scraperů.

Nástroj byl experimentálně otestován ve třech scénářích potvrzující jeho funkčnost. Testování je však omezeno pouze na dva webové zdroje bez pokročilé anti-scraping ochrany, jejichž překonání práce zdůrazňuje jako klíčovou přidanou hodnotu. Výhradu mám také k absenci pasivního režimu, což nástroj limituje na poloautomatický přístup.

Po formální stránce je práce na dobré úrovni a obsahuje minimum překlepů nebo typografických chyb. Místy je však popis až příliš strohý, což se promítá i do nižšího počtu normostran. Citováno je celkem 23 zdrojů složených převážně z odborných publikací a dokumentací k použitým technologiím.

Cíle bakalářské práce považuji až na výše uvedenou absenci pasivního režimu za splněné. Student práci pravidelně konzultoval a funkce nástroje postupně uvolňoval k testování. Vyvinuté rozšíření je funkční a využitelné pro sběr dat v rámci OSINT. Na základě uvedených skutečností doporučuji práci k obhajobě s hodnocením C/75. Points proposed by supervisor: 75

Grade proposed by supervisor: C

Reviewer’s report
Ing. David Kohout, Ph.D.

Student se v rámci bakalářské práce zabývá návrhem a implementací nástroje pro interaktivní mapování webových zdrojů ve formě rozšíření webového prohlížeče. Práce nejprve představuje problematiku OSINT a web scraping, následně analyzuje vybraná existující řešení a na základě identifikovaných nedostatků navrhuje vlastní nástroj umožňující interaktivní výběr a export dat z webových stránek.

Z formálního hlediska se v textu opakovaně vyskytují křížové odkazy bez uvedení typu objektu, na který odkazují. Některé diagramy jsou poměrně nepřehledné (např. obrázek 2.2), přičemž jsou využity pouze jejich rastrové verze, což dále snižuje čitelnost. Text práce je místy velmi stručný, což se odráží i na celkovém rozsahu práce, který se pohybuje na spodní hranici obvyklého rozsahu bakalářských prací. Literatura obsahuje pouze 23 zdrojů, přičemž významnou část tvoří dokumentace použitých technologií. Odborných zdrojů je méně než polovina, což považuji vzhledem k rozsahu práce za spíše podprůměrné.

K praktické části mám několik připomínek. Implementovaný doplněk je funkční a splňuje základní cíle práce, avšak v odevzdaných souborech postrádám dokumentaci (např. README), která by usnadnila instalaci a používání nástroje. Praktické využití řešení je v současné podobě poměrně omezené a za nejvýznamnější nedostatek považuji absenci pasivního režimu uvedeného v zadání práce. Přínosné by bylo také automatické označování již vybraných prvků na stránkách se stejnou strukturou.

Přes uvedené výhrady student prokázal schopnost analyzovat existující řešení, navrhnout vlastní architekturu a implementovat funkční rozšíření webového prohlížeče. Zadání práce považuji za splněné s výhradami k rozsahu implementovaných funkcionalit a navrhuji hodnocení C/74. Topics for thesis defence:
  1. Jak složité by bylo navržené rozšíření přenést i do dalších webových prohlížečů, například Mozilla Firefox? Které části implementace by bylo nutné upravit?
  2. Hlavní ovládání nástroje je realizováno prostřednictvím popup okna. Zvažoval jste využití bočního panelu (sidebaru), který je v moderních prohlížečích běžně dostupný? Jak složitá by byla jeho implementace a jaké výhody či nevýhody by takové řešení přineslo?
Points proposed by reviewer: 74

Grade proposed by reviewer: C

Responsibility: Mgr. et Mgr. Hana Odstrčilová