Bachelor's Thesis

Assessing the Human Ability to Recognize Synthetic Speech

Final Thesis 8.22 MB

Author of thesis: Ing. Daniel Prudký

Acad. year: 2022/2023

Supervisor: Ing. Anton Firc

Reviewer: doc. Mgr. Kamil Malinka, Ph.D.

Abstract:

This work responds to the development of artificial intelligence and its potential misuse in the field of cybersecurity. It aims to test and evaluate the human ability to recognize a subset of synthetic speech, called voice deepfake. This paper describes an experiment in which we communicated with respondents using voice messages. We presented the respondents with a cover story about testing the user-friendliness of voice messages while secretly sending them a pre-prepared deepfake recording during the conversation and looked at things like their reactions, their knowledge of deepfakes, or how many respondents correctly identified which message was manipulated. The results of the work showed that none of the respondents reacted in any way to the fraudulent deepfake message and only one retrospectively admitted to noticing something specific. On the other hand, a voicemail message that contained a deepfake was correctly identified by 96.8% of respondents after the experiment. Thus, the results show that although the deepfake recording was clearly identifiable among others, no one reacted to it. And so the whole thesis says that the human ability to recognize voice deepfakes is not at a level we can trust. It is very difficult for people to distinguish between real and fake voices, especially if they are not expecting them.

Keywords:

deepfake, voice deepfake, synthetic speech, artificial intelligence, cybersecurity, deepfake detection

Date of defence

15.06.2023

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. V dotazníku subjekty odpovídaly, že o deepfakes slyšely z médií. Máte data pro určení typu? Jednalo se o audio, video nebo kombinaci?

Language of thesis

English

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Zdeněk Vašíček, Ph.D. (člen)
Ing. Václav Šátek, Ph.D. (člen)
Ing. Filip Orság, Ph.D. (člen)
Ing. Vladimír Bartík, Ph.D. (člen)

Supervisor’s report
Ing. Anton Firc

Práca je výborne spracovaná. Študent si správne poradil s výskumnou neistotou a prácu dokončil s chvályhodným predstihom. Pri riešení práce bol samostatný, aktívny a snažil sa o prínos vlastných kvalitných nápadov a myšlienok pre ďalšie zlepšenie práce. Práca prináša nové a zaujímavé výsledky využiteľné pre ďalší výskum. Pozitívom je aj spracovanie v angličtine.


 


Prácu navrhujem k niektorému z možných ocenení.

Evaluation criteria Verbal classification
Informace k zadání

Náročnosť zadania hodnotím ako náročnejšiu. Práca rieši výskumné téma z novej oblasti počítačovej bezpečnosti a deep learningu. Vypracovanie vyžadovalo zoznámenie sa a prácu s pokročilými technológiami syntézi reči a samostatnú výskumnú činnosť študenta. Študent odviedol veľké množstvo práce kde navrhol priebeh experimentov, vytvoril testovacie vzorky a realizoval testovanie nad skupinou ľudských respondentov. Výsledky práce sú spracované vo výbornej kvalite a majú potenciál byť ďalej rozpracované do podrobnejšieho výskumu.

Práce s literaturou

Študent aktívne vyhľadával relevantnú dostupnú literatúru a vhodne ju začlenil do svojej práce.

Aktivita během řešení, konzultace, komunikace

Aktivita študenta počas práce bola znamenitá. Pravidelne sa zúčastňoval konzultácií, na ktoré chodil pripravený a vždy prezentoval nové posuny v spracovaní práce. Aktívne prichádzal s nápadmi ako postupovať a získať kvalitnejšie výsledky. Výsledky boli dodávané priebežne počas celého akademického roka. Prístup študenta bol systematický a dôsledný, čo sa odrazilo na výbornej kvalite.

Aktivita při dokončování

Práca bola dokončená s približne mesačným predstihom. Práca bola pred odovzdaním riadne konzultovaná.

Publikační činnost, ocenění

Študent sa zúčastnil študentskej konferencie Excel@FIT 2023. Výsledky plánujeme spracovať formou vedeckého článku a publikovať na relevantej konferencii.

Points proposed by supervisor: 97

Grade proposed by supervisor: A

Reviewer’s report
doc. Mgr. Kamil Malinka, Ph.D.

Práce je zpracována na výborné úrovni, dosáhla pro komunitu zajímavých výsledků, které mají publikační potenciál. Zpracování a interpretace výsledků je na výborné úrovni. Hlavním přínosem je zcela odlišný přístup testování. Student velmi dobře zvládl všechny komplexní kroky nutné k úspěšné realizaci a vyhodnocení experimentu. Pozitivně hodnotím zpracování textové části v angličtině.

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: obtížnější zadání

Jedná se o výzkumnou práci, jejíž významnou součástí je experimentální ověření schopnosti lidí rozpoznávat deepfakes. Vzhledem k otevřenosti výzkumné otázky a nutnosti kreativně navrhnout a pak i realizovat vhodné experimenty, tak považuji zadání za obtížnější.

Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Student splnil všechny body zadání na výborné úrovni. 

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Rozsah technické zprávy odpovídá požadavkům na bakalářskou práci.

Prezentační úroveň technické zprávy

Logická struktura práce je na výborné úrovni. Autor vhodným způsobem představuje řešenou problematiku vč. souvisejícího výzkumu a technologií potřebných k porozumění větších detailů. Práce velmi robustně zpracovává související výzkum vč. analýzy dopadů útoků využívajících deepfakes. Metodologie experimentu je korektní a velmi dobře popsaná. Výsledky jsou detailně diskutovány. Navrhované způsoby zvýšení bezpečnostního povědomí jsou podloženy zkušenostmi z jiný oblastí.

95
Formální úprava technické zprávy

Jazyková a stylistická stránka práce i úroveň typografie je na výborné úrovni. 

95
Práce s literaturou

Odkazované zdroje jsou relevantní tématu a vhodně vybrány. Přes jejich relativně velký počet jsou dobře interpretovány.

95
Realizační výstup

Realizačním výstupem této práce je realizovaný a vyhodnocený experiment. Hlavním přínosem je kreativní návrh experimentu, který se fundamentálně liší od dosavadních výzkumů tím, že subjekty nejsou informovány o skutečném záměru experimentu a lépe je tak reprezentován skutečný útok. Pro tvorbu nahrávek student využil doporučené existující nástroje. Počet testovaných subjektů je poměrně vysoký. Návrhy, jak výsledky následně využít pro školení uživatelů jsou dobře zpracovány.

95
Využitelnost výsledků

Získané experimentální výsledky řeší aktuální téma a vzhledem k velikosti testované množiny a kvalitě metodologie a vlastní realizace experimentu mají potenciál akademické publikace.

Topics for thesis defence:
  1. V dotazníku subjekty odpovídaly, že o deepfakes slyšely z médií. Máte data pro určení typu? Jednalo se o audio, video nebo kombinaci?
Points proposed by reviewer: 95

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová