Přístupnostní navigace
E-application
Search Search Close
Bachelor's Thesis
Author of thesis: Bc. Kambulat Alakaev
Acad. year: 2023/2024
Supervisor: doc. Mgr. Kamil Malinka, Ph.D.
Reviewer: Ing. Filip Pleško
This thesis explores the possibility of achieving real-time voice deepfake generation using open-source tools. Through experiments, it was discovered that the generation rate of voice deepfakes is affected by the computing power of the devices running the speech creation tools. A deep learning model was identified to be capable of generating speech in near real time. However, limitations in the tool containing this model prevented continuous input data for real-time generation. To address this, a program was developed to overcome these limitations. The quality of the generated deepfakes was evaluated using both voice deepfake detection models and human online surveys. The results revealed that while the model could deceive detection models, it was not successful in fooling humans. This research highlights the accessibility of open-source voice synthesis tools and the potential for their misuse by individuals for fraudulent purposes.
deepfakes, voice deepfakes, biometric systems, realtime voice synthesis, synthetic speech, deep learning, cybersecurity, text-to-speech, voice conversion, open-source deepfake tools, voice deepfake detection
Date of defence
12.06.2024
Result of the defence
Defended (thesis was successfully defended)
Grading
B
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. (Jaké jsou problémy s fungováním v reálném čase.) Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
Topics for thesis defence
Language of thesis
English
Faculty
Fakulta informačních technologií
Department
Department of Intelligent Systems
Study programme
Information Technology (BIT)
Composition of Committee
doc. Ing. Ondřej Ryšavý, Ph.D. (předseda) Ing. Tomáš Milet, Ph.D. (člen) Ing. Josef Strnadel, Ph.D. (člen) Ing. Matěj Grégr, Ph.D. (člen) Ing. Filip Orság, Ph.D. (člen)
Supervisor’s reportdoc. Mgr. Kamil Malinka, Ph.D.
Práce splnila všechny body zadání, kdy student dobře zvládl jednotlivé fáze. Kvalita textu je na dobré úrovni. Výsledná implementace je kreativně uchopená. Velmi dobře ukazuje, jak útočník dokáže ohýbat aktuální řešení ke své potřebě. Nástroj již byl použit v některých vzdělávacích kampaních v oblasti bezpečnostních dopadů deepfakes. Pozitivně hodnotím zpracování práce v angličtině. Škoda je, že student ještě nezvládl zapracovat i metody pro konverzi hlasu, nicméně to už by bylo hodně nad rámec zadání.
Jedná se o průměrně obtížnou práci výzkumného charakteru, která navazuje na výzkum v rámci skupiny Security@FIT. Práce měla několik cílů: zjistit aktuální možnosti nástrojů ohledně generování deepfake hlasu v reálném čase, analyzovat parametry, které jsou pro proces zásadní a na základě zjištění navrhnout a implementovat aplikaci, která se co nejvíce syntéze v reálném čase přiblíží. Součástí bylo i testování nástroje. Student splnil všechny body zadání v dobré kvalitě.
Student aktivně vyhledával relevantní dostupnou literaturu a vhodně ji začlenil do své práce.
Student na práci začal pracovat již v rámci semestrálního projektu, který práci předcházel. Po celou dobu řešení práce jsme měli pravidelné schůzky, na kterých byly konzultovány dílčí kroky řešení a celkový směr práce.
Student obsah práce konzultoval průběžně a její definitivní obsah mi byl zaslán k připomínkování v dostatečném předstihu. Všechny mé připomínky k práci byly zapracovány.
Student se zúčastnil Excel@FIT.
Grade proposed by supervisor: B
Reviewer’s reportIng. Filip Pleško
Študent správne pracoval s existujúcov literatúrov, naštudoval problém a navrhol riešenie. Až na pár drobných formálnych nedostatkov v práci, ktoré už boli spomennuté, sa jedná o kvalitne vypracovanú prácu. Výsledky tejto práce je možé ďalej využiť.
Evaluation level: more difficult assignment
Zadanie hodnotím ako náročnejšie, kedže na vytvorenie kvalitnej aplikácie bolo potrebné detailne pochopiť a upraviť aktuálne existujúce riešenia.
Text je písaný zrozumiteľne, s dobre nadväzujúcimi sekciami na seba. Výhradu mám ku kapitole číslo 3. Príde mi nadbytočná, jej obsah mohol byť zahrnutý v samotnom úvode.
Práca je písaná peknou angličtinou, ľahko čitateľná a zrozumiteľná.
Menšia výhrada smeruje k tomu, ako autor referuje v práci sám seba. Jedná sa o oslovenie "The author did ...", čo potom znie, ako keby autor vykonal praktickú časť a teóriu písala tretia strana.
Ďalšou chybou je, že práca obsahuje zadanie v CZ jazyku, aj napriek tomu že je písaná v angličtine.
Študent mi osobne odprezentoval funkčnú aplikáciu. Jedná sa o jednoduchú GUI aplikáciu s možnosťou vybrať model a vložiť text, z ktorého je vygenerovaný hlas. Veľkou výhodou tejto aplikácie je, že je možné zadávať text počas toho ako práve generuje hlas. V prípade že stíhame dostatočne rýchlo písať vstup, aplikácie generuje umelo vytvorený hlas v reálnom čase.
Práca správne identifikovala nedostatky existujúcich nástrojov pri tvorbe hlasových DeepFakes v reálnom čase. Tieto nedostatky boli odstránené, čím bolo rozšírené existujúce riešenie o možnosť kontinuálneho generovania hlasu. Takúto aplikáciu je ďalej možno využívať pre výskum a vzdelávanie v tejto oblasti.
Evaluation level: assignment fulfilled
Zadanie splneno v plnom rozsahu bez žiadnych výhrad.
Evaluation level: is within the usual extent
Študent si vyhľadal odbornú literatúru súvisiacu s prácou, ktorú následne správne citoval v texte.
Grade proposed by reviewer: A
Responsibility: Mgr. et Mgr. Hana Odstrčilová