Bachelor's Thesis

Deepfake Dataset for Evaluation of Human Capability on Deepfake Recognition

Final Thesis 3.85 MB

Author of thesis: Bc. Karolína Radačovská

Acad. year: 2022/2023

Supervisor: Ing. Anton Firc

Reviewer: doc. Mgr. Kamil Malinka, Ph.D.

Abstract:

Artificial intelligence is on its way to become one of the most used technologies in the world. Many of us use artificial intelligence every day without hesitation. We got used to it and put our trust in these technologies. However, it is easy to become a victim of this technology too.
This thesis reacts to the threats and risks of audio deepfake technologies, a subfield of artificial intelligence. The project primarily aims to conduct an experiment using a proposed quality system rating of audio deepfake evaluation. We found motivation in the increasing number of victims of audio deepfake frauds, unanswered questions concerning the synthetic media, and already conducted experiments with interesting conclusions.
Our results brought valuable knowledge about human’s ability to recognize audio deep-fakes of different quality scores. We also found answers to questions about people’s ability to detect deepfakes in their native languages or whether they are more likely to recognize deepfakes using headphones instead of speakers.

Keywords:

deepfake, artificial intelligence, neural networks, deepfake recognition, quality rating system

Date of defence

14.06.2023

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Proč se věnujete měření kvality deepfake, když s ní dále ve výzkumných otázkách nepracujete? Obdobně Vám z otázek zmizel gender pohled, který popisujete v hypotézách.
  2. Na základě jakých parametrů jste vybrala popsané 3 metody hodnocená kvality?
  3. Existují i jiné studie, které si u rozpoznávacích schopností všímají rozdílů mezi muži a ženami?
  4. Jakým způsobem jste generovala Deepfake dataset?
  5. Jak je statisticky signifikantní rozdíl mezi rozpoznávání deepfake na základě gender?

Language of thesis

English

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

doc. Dr. Ing. Petr Hanáček (předseda)
doc. Ing. Ondřej Ryšavý, Ph.D. (člen)
doc. Mgr. Kamil Malinka, Ph.D. (člen)
Ing. Tomáš Milet, Ph.D. (člen)
Ing. Josef Strnadel, Ph.D. (člen)

Supervisor’s report
Ing. Anton Firc

Práca je výborne spracovaná. Študentka si správne poradila s výskumnou neistotou a prácu dokončila v stanovenom termíne. Pri riešení práce bola samostatná, aktívna a snažila sa o prínos vlastných kvalitných nápadov a myšlienok pre ďalšie zlepšenie práce. Práca prináša nové a zaujímavé výsledky využiteľné pre ďalší výskum. Pozitívom je aj spracovanie v angličtine.

Evaluation criteria Verbal classification
Informace k zadání

Náročnosť zadania hodnotím ako náročnejšiu. Práca rieši výskumné téma z novej oblasti počítačovej bezpečnosti a deep learningu. Vypracovanie vyžadovalo zoznámenie sa a prácu s pokročilými technológiami syntézi reči a samostatnú výskumnú činnosť študentky. Študentka odviedla veľké množstvo práce kde navrhla priebeh experimentov, vytvorila testovaciu dátovú sadu a realizovala testovanie nad skupinou ľudských respondentov. Výsledky práce sú spracované vo výbornej kvalite a majú potenciál byť ďalej rozpracované do podrobnejšieho výskumu.

Práce s literaturou

Študentka aktívne vyhľadávala relevantnú dostupnú literatúru a vhodne ju začlenila do svojej práce.

Aktivita během řešení, konzultace, komunikace

Aktivita študentky počas práce bola výborná. Pravidelne sa zúčastňovala konzultácií, na ktoré chodila pripravená a vždy prezentovala nové posuny v spracovaní práce. Aktívne prichádzala s novými nápadmi ako prácu ďalej rozšíriť. Výsledky boli dodávané priebežne počas celého akademického roka. Prístup študentky bol systematický a dôsledný, čo sa odrazilo na výbornej kvalite práce.

Aktivita při dokončování

Práca bola dokončovaná v poslednom týždni a pred odovzdaním riadne konzultovaná.

Publikační činnost, ocenění

Študentka sa zúčastnila študentskej konferencie Excel@FIT 2023. Výsledky plánujeme zpracovať formou vedeckého článku a publikovať na relevantej konferencii.

Points proposed by supervisor: 92

Grade proposed by supervisor: A

Reviewer’s report
doc. Mgr. Kamil Malinka, Ph.D.

Práce dosáhla pro komunitu zajímavých výsledků, které mají publikační potenciál. Studentka velmi dobře zvládla všechny komplexní kroky nutné k úspěšné realizaci a vyhodnocení experimentu. Pozitivně hodnotím snahu klást nové otázky a poskytnou nový pohled na problematiku. Pozitivně také hodnotím zpracování textové části v angličtině. Nebýt výše zmíněných výtek, tak se jedná o výbornou práci. 

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: průměrně obtížné zadání

Práce je experimentálního charakteru, kdy bylo potřeba vyřešit několik navazujících fází. Jedná se o výzkumnou práci, jejíž významnou součástí je experimentální ověření schopnosti lidí rozpoznávat deepfakes.

Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Studentka splnila všechny body zadání na velmi dobré úrovni.

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Rozsah technické zprávy odpovídá požadavkům na bakalářskou práci.

Prezentační úroveň technické zprávy

Logická struktura práce je na dobré úrovni. Autorka vhodným způsobem představuje řešenou problematiku a technologie potřebné k porozumění větších detailů. Nicméně chybí lepší provázání jednotlivých sekcí. Text práce je také dost rozvláčný, což zbytečně snižuje informační bohatost práce.

75
Formální úprava technické zprávy

Jazyková a stylistická stránka práce i úroveň typografie je na velmi dobré úrovni. Obsahuje drobné množství chyb.  

85
Práce s literaturou

Práce obsahuje poměrně velké množství zdrojů. Odkazované zdroje jsou však relevantní tématu a vhodně vybrány.

95
Realizační výstup

Realizační výstup se skládá ze dvou částí: vytvořený dataset v češtině a realizovaný experiment nad tímto datasetem. Pro tvorbu nahrávek studentka využila doporučené existující nástroje. Vytvořený dataset hodnotím velmi pozitivně, protože dosud žádný český nebyl k dispozici a umožní další výzkum v této oblasti. Experiment je metodologicky velmi dobře zpracovaný a obsahuje poměrně velký počet respondentů. Výsledky potvrzují dosavadní výzkumy, ale také přinášejí vlastní nové zjištění - např. závislost na výstupním zařízení. Jedinou výtku mám k tomu, že získaná data nejsou přiložena ani v práci dostatečně okomentována, práce se více zaměřuje na agregovaný výsledný pohled.

95
Využitelnost výsledků

Získané experimentální výsledky řeší aktuální téma a vzhledem k velikosti testované množiny, kvalitě metodologie a vlastní realizace experimentu mají ve spojení se zveřejněním datasetu potenciál akademické publikace.

Topics for thesis defence:
  1. Proč se věnujete měření kvality deepfake, když s ní dále ve výzkumných otázkách nepracujete? Obdobně Vám z otázek zmizel gender pohled, který popisujete v hypotézách.
  2. Na základě jakých parametrů jste vybrala popsané 3 metody hodnocená kvality?
  3. Existují i jiné studie, které si u rozpoznávacích schopností všímají rozdílů mezi muži a ženami?
Points proposed by reviewer: 85

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová