bakalářská práce

Deepfake datová sady pro testovaní lidské schopnosti rozpoznávat deepfakes

Text práce 3.85 MB

Autor práce: Bc. Karolína Radačovská

Ak. rok: 2022/2023

Vedoucí: Ing. Anton Firc

Oponent: doc. Mgr. Kamil Malinka, Ph.D.

Abstrakt:

Umelá inteligencia je na ceste stať sa jednou z najpoužívanejších technológií vo svete. Mnohí z nás ju bez zaváhania využívajú každý deň. Zvykli sme si na ňu a začali sme jej dôverovať. Avšak, tiež je veľmi jednoduché jej padnúť za obeť.
Táto práca reaguje na hrozby a riziká súvisiace s hlasovými deepfake technológiami,
oblasťou umelej inteligencie. Primárnym cieľom tohto projektu je vykonať experiment s deepfake nahrávkami ohodnotenými navrhnutým systémom kvality. Našou motiváciou je neustále rastúci počet obetí podvodov hlasových deepfakes, nezodpovedané otázky v oblasti synteticým médií, a vykonané experimenty, ktoré dosiahli zaujímavé závery. Naše výsledky priniesli cenné informácie v oblasti ľudskej schopnosti rozpoznávať hlasové deepfakes na rôznych úrovniach kvality. Tiež sme zodpovedali otázky týkajúce sa ľudskej schopnosti rozpoznávať hlasové deepfakes v ich rodnom jazyku, alebo či dokážu častejšie rozpoznať hlasové deepfakes, keď použijú pre ich počúvanie slúchadlá miesto reproduktorov.

Klíčová slova:

deepfake, umelá inteligencia, neurónové siete, rozpoznávanie deepfakes, kvalitatívny systém

Termín obhajoby

14.06.2023

Výsledek obhajoby

obhájeno (práce byla úspěšně obhájena)

znamkaAznamka

Klasifikace

A

Průběh obhajoby

Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm A.

Otázky k obhajobě

  1. Proč se věnujete měření kvality deepfake, když s ní dále ve výzkumných otázkách nepracujete? Obdobně Vám z otázek zmizel gender pohled, který popisujete v hypotézách.
  2. Na základě jakých parametrů jste vybrala popsané 3 metody hodnocená kvality?
  3. Existují i jiné studie, které si u rozpoznávacích schopností všímají rozdílů mezi muži a ženami?
  4. Jakým způsobem jste generovala Deepfake dataset?
  5. Jak je statisticky signifikantní rozdíl mezi rozpoznávání deepfake na základě gender?

Jazyk práce

angličtina

Fakulta

Ústav

Studijní program

Informační technologie (BIT)

Složení komise

doc. Dr. Ing. Petr Hanáček (předseda)
doc. Ing. Ondřej Ryšavý, Ph.D. (člen)
doc. Mgr. Kamil Malinka, Ph.D. (člen)
Ing. Tomáš Milet, Ph.D. (člen)
Ing. Josef Strnadel, Ph.D. (člen)

Posudek vedoucího
Ing. Anton Firc

Práca je výborne spracovaná. Študentka si správne poradila s výskumnou neistotou a prácu dokončila v stanovenom termíne. Pri riešení práce bola samostatná, aktívna a snažila sa o prínos vlastných kvalitných nápadov a myšlienok pre ďalšie zlepšenie práce. Práca prináša nové a zaujímavé výsledky využiteľné pre ďalší výskum. Pozitívom je aj spracovanie v angličtine.

Kritérium hodnocení Slovní hodnocení
Informace k zadání

Náročnosť zadania hodnotím ako náročnejšiu. Práca rieši výskumné téma z novej oblasti počítačovej bezpečnosti a deep learningu. Vypracovanie vyžadovalo zoznámenie sa a prácu s pokročilými technológiami syntézi reči a samostatnú výskumnú činnosť študentky. Študentka odviedla veľké množstvo práce kde navrhla priebeh experimentov, vytvorila testovaciu dátovú sadu a realizovala testovanie nad skupinou ľudských respondentov. Výsledky práce sú spracované vo výbornej kvalite a majú potenciál byť ďalej rozpracované do podrobnejšieho výskumu.

Práce s literaturou

Študentka aktívne vyhľadávala relevantnú dostupnú literatúru a vhodne ju začlenila do svojej práce.

Aktivita během řešení, konzultace, komunikace

Aktivita študentky počas práce bola výborná. Pravidelne sa zúčastňovala konzultácií, na ktoré chodila pripravená a vždy prezentovala nové posuny v spracovaní práce. Aktívne prichádzala s novými nápadmi ako prácu ďalej rozšíriť. Výsledky boli dodávané priebežne počas celého akademického roka. Prístup študentky bol systematický a dôsledný, čo sa odrazilo na výbornej kvalite práce.

Aktivita při dokončování

Práca bola dokončovaná v poslednom týždni a pred odovzdaním riadne konzultovaná.

Publikační činnost, ocenění

Študentka sa zúčastnila študentskej konferencie Excel@FIT 2023. Výsledky plánujeme zpracovať formou vedeckého článku a publikovať na relevantej konferencii.

Výsledný počet bodů navržený vedoucím: 92

Známka navržená vedoucím: A

Práce dosáhla pro komunitu zajímavých výsledků, které mají publikační potenciál. Studentka velmi dobře zvládla všechny komplexní kroky nutné k úspěšné realizaci a vyhodnocení experimentu. Pozitivně hodnotím snahu klást nové otázky a poskytnou nový pohled na problematiku. Pozitivně také hodnotím zpracování textové části v angličtině. Nebýt výše zmíněných výtek, tak se jedná o výbornou práci. 

Kritérium hodnocení Slovní hodnocení Body
Náročnost zadání

Stupeň hodnocení: průměrně obtížné zadání

Práce je experimentálního charakteru, kdy bylo potřeba vyřešit několik navazujících fází. Jedná se o výzkumnou práci, jejíž významnou součástí je experimentální ověření schopnosti lidí rozpoznávat deepfakes.

Rozsah splnění požadavků zadání

Stupeň hodnocení: zadání splněno

Studentka splnila všechny body zadání na velmi dobré úrovni.

Rozsah technické zprávy

Stupeň hodnocení: je v obvyklém rozmezí

Rozsah technické zprávy odpovídá požadavkům na bakalářskou práci.

Prezentační úroveň technické zprávy

Logická struktura práce je na dobré úrovni. Autorka vhodným způsobem představuje řešenou problematiku a technologie potřebné k porozumění větších detailů. Nicméně chybí lepší provázání jednotlivých sekcí. Text práce je také dost rozvláčný, což zbytečně snižuje informační bohatost práce.

75
Formální úprava technické zprávy

Jazyková a stylistická stránka práce i úroveň typografie je na velmi dobré úrovni. Obsahuje drobné množství chyb.  

85
Práce s literaturou

Práce obsahuje poměrně velké množství zdrojů. Odkazované zdroje jsou však relevantní tématu a vhodně vybrány.

95
Realizační výstup

Realizační výstup se skládá ze dvou částí: vytvořený dataset v češtině a realizovaný experiment nad tímto datasetem. Pro tvorbu nahrávek studentka využila doporučené existující nástroje. Vytvořený dataset hodnotím velmi pozitivně, protože dosud žádný český nebyl k dispozici a umožní další výzkum v této oblasti. Experiment je metodologicky velmi dobře zpracovaný a obsahuje poměrně velký počet respondentů. Výsledky potvrzují dosavadní výzkumy, ale také přinášejí vlastní nové zjištění - např. závislost na výstupním zařízení. Jedinou výtku mám k tomu, že získaná data nejsou přiložena ani v práci dostatečně okomentována, práce se více zaměřuje na agregovaný výsledný pohled.

95
Využitelnost výsledků

Získané experimentální výsledky řeší aktuální téma a vzhledem k velikosti testované množiny, kvalitě metodologie a vlastní realizace experimentu mají ve spojení se zveřejněním datasetu potenciál akademické publikace.

Otázky k obhajobě:
  1. Proč se věnujete měření kvality deepfake, když s ní dále ve výzkumných otázkách nepracujete? Obdobně Vám z otázek zmizel gender pohled, který popisujete v hypotézách.
  2. Na základě jakých parametrů jste vybrala popsané 3 metody hodnocená kvality?
  3. Existují i jiné studie, které si u rozpoznávacích schopností všímají rozdílů mezi muži a ženami?
Výsledný počet bodů navržený oponentem: 85

Známka navržená oponentem: B

Odpovědnost: Mgr. et Mgr. Hana Odstrčilová