Master's Thesis

Detecting manipulation in image data using deepfake technologies

Final Thesis 31.24 MB Appendix 10.55 MB

Author of thesis: Ing. Viktor Buzovský

Acad. year: 2024/2025

Supervisor: Ing. Jiří Přinosil, Ph.D.

Reviewer: Ing. Michal Čičatka

Abstract:

This thesis addresses the issue of detecting deepfake image manipulation, which, along with the creation of such content, is currently a prominent topic in the field of computer vision. This is mainly due to the growing popularity of these manipulations, the quality of their execution, and their security and ethical implications. The thesis leverages the latest advancements in the field to detect manipulations in static images — the selected, trained, and tested detector is then further developed in the next part of the thesis in an attempt to improve its recognition capabilities by incorporating temporal information from video recordings using recurrent neural networks.

Keywords:

deepfake, deepfake detectiom, image manipulation, computer vision, common forgery features, generative networks, autoencoders, recurrent neural networks, spatio-temporal forgery features

Date of defence

09.06.2025

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student prezentoval výsledky své práce a komise byla seznámena s posudky. Otázky oponenta: Během předzpracování pro temporální model student identifikoval několik problémů s kvalitou dat, které pocházely z detektoru obličejů dlib (sekce 3.2.2). Proč tyto problémy nebyly řešeny nebo zmírněny, a jaké konkrétní kroky by student podnikl v budoucí práci, aby zajistil čistší a spolehlivější vstupní data pro trénování? Vzhledem k poměrně omezené velikosti testovací datové sady reálných deepfake videí, mohl by student podrobněji rozvést proces akvizice? Jak časově náročné bylo získání a verifikace těchto dat a zda vnímá tuto omezenou velikost jako faktor ovlivňující statistickou významnost či robustnost závěrů o výkonu modelu na nejkvalitnějších deepfake. Student obhájil diplomovou práci a odpověděl na otázky členů komise a oponenta.

Language of thesis

Czech

Faculty

Fakulta elektrotechniky a komunikačních technologií

Department

Department of Telecommunications

Study programme

Communications and Informatics (MPC-TIT)

Composition of Committee

prof. Ing. Zdeněk Smékal, CSc. (předseda)
Ing. Ondřej Mokrý, Ph.D. (člen)
Ing. Rudolf Vohnout, Ph.D. (člen)
Ing. Jiří Přinosil, Ph.D. (člen)
doc. Ing. Pavel Šilhavý, Ph.D. (člen)
doc. Ing. Martin Vaculík, Ph.D. (člen)
prof. Ing. Aleš Prokeš, Ph.D. (místopředseda)

Supervisor’s report
Ing. Jiří Přinosil, Ph.D.

V rámci diplomové práce student pracoval samostatně, zodpovědně, dílčí části práce konzultoval s vedoucím.  Na základě konzultací pak přicházel s vlastním návrhy řešení dané problematiky. Po odborné stránce je práce na velmi dobré úrovni, jsou použity moderní postupy, které jsou v práci jasně popsány. Po formální stránce je práce rovněž na velmi dobré úrovni. Points proposed by supervisor: 98

Grade proposed by supervisor: A

Reviewer’s report
Ing. Michal Čičatka

Diplomová práce Bc. Viktora Buzovského se zaměřuje na detekci deepfake manipulací v obrazových a video datech, konkrétně v oblasti obličejů. Studentovi se úspěšně podařilo implementovat a rozšířit nejmodernější detektor deepfake, a to efektivním začleněním temporálních informací prostřednictvím LSTM sítí, čímž prokázal rozšířené schopnosti pro analýzu videa. Práce poskytuje pevný teoretický základ a zahrnuje cenné empirické poznatky z porovnání na vlastních datových sadách, čímž se zabývá aktuální a významnou výzvou v oblasti počítačového vidění.

Práce nicméně představuje několik oblastí pro kritickou diskusi. Použití termínu „testování“ namísto „validace“ v trénovacích diagramech 3.7 - 3.10 je matoucí. Analýza trénovacích křivek v těchto grafech naznačuje potenciální přetrénování modelu, avšak kvůli šumu ve validačních křivkách je obtížné přesně interpretovat, zda se model stále efektivně učil, či zda již k přetrénování došlo; pro jasnější trend by bylo užitečné vyšší vyhlazení validační křivky. Dále je nedostatečně zdůvodněn výběr detektoru obličejů dlib; tvrzení by rovněž bylo vhodné podložit empirickými daty. Největší chybu pak spatřuji ve špatné organizaci doprovodných zdrojových souborů, které postrádají soubor README a obsahují zbytečné dočasné soubory, což výrazně ztěžuje orientaci a posouzení studentových původních příspěvků. Topics for thesis defence:
  1. Během předzpracování pro temporální model student identifikoval několik problémů s kvalitou dat, které pocházely z detektoru obličejů dlib (sekce 3.2.2). Proč tyto problémy nebyly řešeny nebo zmírněny, a jaké konkrétní kroky by student podnikl v budoucí práci, aby zajistil čistší a spolehlivější vstupní data pro trénování?
  2. Vzhledem k poměrně omezené velikosti testovací datové sady reálných deepfake videí, mohl by student podrobněji rozvést proces akvizice? Jak časově náročné bylo získání a verifikace těchto dat a zda vnímá tuto omezenou velikost jako faktor ovlivňující statistickou významnost či robustnost závěrů o výkonu modelu na nejkvalitnějších deepfake.
Points proposed by reviewer: 86

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová