Přístupnostní navigace
E-application
Search Search Close
Bachelor's Thesis
Author of thesis: Ing. Daniel Prudký
Acad. year: 2022/2023
Supervisor: Ing. Anton Firc, Ph.D.
Reviewer: doc. Mgr. Kamil Malinka, Ph.D.
This work responds to the development of artificial intelligence and its potential misuse in the field of cybersecurity. It aims to test and evaluate the human ability to recognize a subset of synthetic speech, called voice deepfake. This paper describes an experiment in which we communicated with respondents using voice messages. We presented the respondents with a cover story about testing the user-friendliness of voice messages while secretly sending them a pre-prepared deepfake recording during the conversation and looked at things like their reactions, their knowledge of deepfakes, or how many respondents correctly identified which message was manipulated. The results of the work showed that none of the respondents reacted in any way to the fraudulent deepfake message and only one retrospectively admitted to noticing something specific. On the other hand, a voicemail message that contained a deepfake was correctly identified by 96.8% of respondents after the experiment. Thus, the results show that although the deepfake recording was clearly identifiable among others, no one reacted to it. And so the whole thesis says that the human ability to recognize voice deepfakes is not at a level we can trust. It is very difficult for people to distinguish between real and fake voices, especially if they are not expecting them.
deepfake, voice deepfake, synthetic speech, artificial intelligence, cybersecurity, deepfake detection
Date of defence
15.06.2023
Result of the defence
Defended (thesis was successfully defended)
Grading
A
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Topics for thesis defence
Language of thesis
English
Faculty
Fakulta informačních technologií
Department
Department of Intelligent Systems
Study programme
Information Technology (BIT)
Composition of Committee
prof. Dr. Ing. Jan Černocký (předseda) doc. Ing. Zdeněk Vašíček, Ph.D. (člen) Ing. Václav Šátek, Ph.D. (člen) Ing. Filip Orság, Ph.D. (člen) Ing. Vladimír Bartík, Ph.D. (člen)
Supervisor’s reportIng. Anton Firc, Ph.D.
Práca je výborne spracovaná. Študent si správne poradil s výskumnou neistotou a prácu dokončil s chvályhodným predstihom. Pri riešení práce bol samostatný, aktívny a snažil sa o prínos vlastných kvalitných nápadov a myšlienok pre ďalšie zlepšenie práce. Práca prináša nové a zaujímavé výsledky využiteľné pre ďalší výskum. Pozitívom je aj spracovanie v angličtine.
Prácu navrhujem k niektorému z možných ocenení.
Náročnosť zadania hodnotím ako náročnejšiu. Práca rieši výskumné téma z novej oblasti počítačovej bezpečnosti a deep learningu. Vypracovanie vyžadovalo zoznámenie sa a prácu s pokročilými technológiami syntézi reči a samostatnú výskumnú činnosť študenta. Študent odviedol veľké množstvo práce kde navrhol priebeh experimentov, vytvoril testovacie vzorky a realizoval testovanie nad skupinou ľudských respondentov. Výsledky práce sú spracované vo výbornej kvalite a majú potenciál byť ďalej rozpracované do podrobnejšieho výskumu.
Študent aktívne vyhľadával relevantnú dostupnú literatúru a vhodne ju začlenil do svojej práce.
Aktivita študenta počas práce bola znamenitá. Pravidelne sa zúčastňoval konzultácií, na ktoré chodil pripravený a vždy prezentoval nové posuny v spracovaní práce. Aktívne prichádzal s nápadmi ako postupovať a získať kvalitnejšie výsledky. Výsledky boli dodávané priebežne počas celého akademického roka. Prístup študenta bol systematický a dôsledný, čo sa odrazilo na výbornej kvalite.
Práca bola dokončená s približne mesačným predstihom. Práca bola pred odovzdaním riadne konzultovaná.
Študent sa zúčastnil študentskej konferencie Excel@FIT 2023. Výsledky plánujeme spracovať formou vedeckého článku a publikovať na relevantej konferencii.
Grade proposed by supervisor: A
Reviewer’s reportdoc. Mgr. Kamil Malinka, Ph.D.
Práce je zpracována na výborné úrovni, dosáhla pro komunitu zajímavých výsledků, které mají publikační potenciál. Zpracování a interpretace výsledků je na výborné úrovni. Hlavním přínosem je zcela odlišný přístup testování. Student velmi dobře zvládl všechny komplexní kroky nutné k úspěšné realizaci a vyhodnocení experimentu. Pozitivně hodnotím zpracování textové části v angličtině.
Evaluation level: more difficult assignment
Jedná se o výzkumnou práci, jejíž významnou součástí je experimentální ověření schopnosti lidí rozpoznávat deepfakes. Vzhledem k otevřenosti výzkumné otázky a nutnosti kreativně navrhnout a pak i realizovat vhodné experimenty, tak považuji zadání za obtížnější.
Evaluation level: assignment fulfilled
Student splnil všechny body zadání na výborné úrovni.
Evaluation level: is within the usual extent
Rozsah technické zprávy odpovídá požadavkům na bakalářskou práci.
Logická struktura práce je na výborné úrovni. Autor vhodným způsobem představuje řešenou problematiku vč. souvisejícího výzkumu a technologií potřebných k porozumění větších detailů. Práce velmi robustně zpracovává související výzkum vč. analýzy dopadů útoků využívajících deepfakes. Metodologie experimentu je korektní a velmi dobře popsaná. Výsledky jsou detailně diskutovány. Navrhované způsoby zvýšení bezpečnostního povědomí jsou podloženy zkušenostmi z jiný oblastí.
Jazyková a stylistická stránka práce i úroveň typografie je na výborné úrovni.
Odkazované zdroje jsou relevantní tématu a vhodně vybrány. Přes jejich relativně velký počet jsou dobře interpretovány.
Realizačním výstupem této práce je realizovaný a vyhodnocený experiment. Hlavním přínosem je kreativní návrh experimentu, který se fundamentálně liší od dosavadních výzkumů tím, že subjekty nejsou informovány o skutečném záměru experimentu a lépe je tak reprezentován skutečný útok. Pro tvorbu nahrávek student využil doporučené existující nástroje. Počet testovaných subjektů je poměrně vysoký. Návrhy, jak výsledky následně využít pro školení uživatelů jsou dobře zpracovány.
Získané experimentální výsledky řeší aktuální téma a vzhledem k velikosti testované množiny a kvalitě metodologie a vlastní realizace experimentu mají potenciál akademické publikace.
Grade proposed by reviewer: A
Responsibility: Mgr. et Mgr. Hana Odstrčilová