diplomová práce

Klasifikace živosti tváří s detekcí dat mimo distribuci

Text práce 6.37 MB

Autor práce: Ing. Petr Češka

Ak. rok: 2023/2024

Vedoucí: Ing. Jakub Špaňhel, Ph.D.

Oponent: Ing. Marek Vaško

Abstrakt:

Cílem této diplomové práce je zvýšit přesnost modelů pro klasifikaci živosti tváří založených na obrazovém Transformeru při odhalování prezentačních útoků. Diplomová práce využívá detekci dat mimo distribuci k odfiltrování obrázků, které se příliš liší od tréninkové sady dat označovaných jako data v distribuci. Zkoumá se, jak úspěšně různé metody identifikují rozdílné distribuce dat a jak odfiltrování dat mimo distribuci na základě těchto metod ovlivňuje přesnost modelu. Pomocí relativní Mahalanobisovy vzdálenosti je možné dosáhnout hodnoty AUROC 97.6 % při rozlišování dat v distribuci a mimo ni. Odfiltrováním obrázků, které by neměly být klasifikovány, se zvýší přesnost všech testovaných modelů nad 99.9 %. To může poskytnout další vrstvu zabezpečení pro aplikace proti útokům využívajícím podvržení tváří.

Klíčová slova:

Biometrická bezpečnost, Detekce podvržených tváří, Klasifikace živosti tváře, Hluboké neuronové sítě, Zpracování obrazu, Spoofing, Anti-spoofing, Obrazový Transformer, Detekce dat mimo distribuci, Relativní Mahalanobisova vzdálenost, Filtrování dat

Termín obhajoby

17.06.2024

Výsledek obhajoby

obhájeno (práce byla úspěšně obhájena)

znamkaBznamka

Klasifikace

B

Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Otázky k obhajobě

  1. Ako by sa v reálnom systéme využíval výstup pre dáta mimo distribúciu? Ako to ovplyvní prístup do biometrického systému pre skutočné fotky ľudí, ktoré boli označené mimo distribúciu? Je toto správanie systému žiadané?
  2. Aký percentil dát ostáva v testovacej sade po aplikovaní OOD metód v sekcii 6.2?
  3. Na kolika datech jste řešení vyhodnocoval?
  4. Jakou formu mají textové vstupy do enkodéru?

Jazyk práce

čeština

Fakulta

Ústav

Studijní program

Informační technologie a umělá inteligence (MITAI)

Specializace

Strojové učení (NMAL)

Složení komise

prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Lukáš Burget, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
doc. RNDr. Pavel Smrž, Ph.D. (člen)
doc. Ing. Vítězslav Beran, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)

Posudek vedoucího
Ing. Jakub Špaňhel, Ph.D.

Student zadání splnil. Natrénoval model pro klasifikaci živosti tváře a následně evaluoval různé metody pro detekci dat mimo distribuci. V rámci experimentů také navrhl menší modifikace některých dříve publikovaných metod. Výsledné řešení je dle vyhodnocení funkční a filtrace dat mimo distribuci zlepšuje výsledky klasifikace.
Práci hodnotím stupněm B.

Kritérium hodnocení Slovní hodnocení
Informace k zadání

Student měl za úkol řešit problematiku detekce dat mimo distribuci pro modely klasifikující živost tváře. Během řešení DP musel řešit dva velké celky - vytvoření modelu pro klasifikaci živosti a analýzu možností detekce dat mimo trénovací distribuci. Zadání lze tedy řadit k obtížnějším.

Aktivita při dokončování

Práce byla dokončena v termínu. Text práce byl nasdílen k náhlednutí. Přípomínky ke struktuře práce byly zapracovány.

Publikační činnost, ocenění

Student se zúčastnil studentské konference Excel@FIT.

Práce s literaturou

Student si sám dohledal veškeré potřebné zdroje a další literaturu.

Aktivita během řešení, konzultace, komunikace

Aktivita studenta v rámci řešení diplomové práce byla nerovnoměrná. Začátek řešení byl velmi pozvolný a sestával se primárně ze studia aktuálního stavu poznání. Ke konci řešení se aktivita stupňovala.

Výsledný počet bodů navržený vedoucím: 82

Známka navržená vedoucím: B

Posudek oponenta
Ing. Marek Vaško

Práca ako celok je veľmi kvalitná a vyžaduje rozsiahly prehľad aktuálne využívaných metód, ktoré riešiteľ preskúmal.


Menšie formálne nedostatky nemajú vplyv na celkovú pochopiteľnosť a prínos prezentovaného výskumu.


Pre prácu navrhujem hodnotenie A.

Kritérium hodnocení Slovní hodnocení Body
Rozsah splnění požadavků zadání

Stupeň hodnocení: zadání splněno

Rozsah technické zprávy

Stupeň hodnocení: je v obvyklém rozmezí

Prezentační úroveň technické zprávy

Práca ako celok je dobre čitateľná.

Text obsahuje všetko podstatné a vyhýba sa zbytočným informáciam.

Jednotlivé kapitoly sú veľmi dobre a logicky delené.

Prezentované výsledky sú zároveň prehľadné a často prezentované v dobre spracovaných grafoch a tabuľkách.

Je jasné, že riešiteľ rozumie skúmanej problematike a vie získané informácie aplikovať na unikátny problém.

90
Formální úprava technické zprávy

Po jazykovej stránke je práca veľmi dobrá a len z minimálnym množstvom chýb.

Z pohľadu typografickej stránky vidím menší problém s používaním rastrových obrázkov namiesto vektorových. Niektoré prevzaté tabuľky sú vložené ako obrázky. Vo vzorcoch 3.10 a 3.12 je menšia nekonzistencia, ale tá neovplyvňuje celkovú pochopiteľnosť komunikovanej informácie.

80
Práce s literaturou

Práca má celkovo 53 referencií a všetky sa odkazujú na články prezentované na kvalitných konferenciách alebo v kvalitných žurnáloch.

V práci riešiteľ využíva referencie korektne. Väčšina z citovaných metód  je približne z posledných piatich rokov a predstavuje aktuálny state-of-the-art.

Je jasné, že riešiteľ prenikol problematiku do hĺbky.

95
Realizační výstup

Programové riešenie je zdokumentované a je jasné, akým spôsobom nastaviť prostredie, spustiť jednotlivé experimenty a spustiť vyhodnotenie.

V technickej správe je zároveň jasné to, ako jednotlivé systémy fungujú a čo funguje najlepšie. Celkovo bolo vykonané veľké množstvo experimentov.

Vyhodnotenie a realizovaný výstup sú na vysokej úrovni.

95
Využitelnost výsledků

Práca ako celok prezentuje výsledky v aplikácii existujúcich metód pre odhad dát mimo distribúciu na problém detekcie živosti.

Z prezentovaných výsledkov je jasný prínos a môžu byť využité ako referencia pre budúci vývoj.

Náročnost zadání

Stupeň hodnocení: značně obtížné zadání

Zadanie je výskumného charakteru a vyžaduje znalosti z oblasti klasifikácie živostí snímkov tváre a odborný prehľad množstva metód pre detekciu dát mimo distribúciu. Z tohto pohľadu sa jedná o obtiažnejšie zadanie.

Otázky k obhajobě:
  1. Ako by sa v reálnom systéme využíval výstup pre dáta mimo distribúciu? Ako to ovplyvní prístup do biometrického systému pre skutočné fotky ľudí, ktoré boli označené mimo distribúciu? Je toto správanie systému žiadané?
  2. Aký percentil dát ostáva v testovacej sade po aplikovaní OOD metód v sekcii 6.2?
Výsledný počet bodů navržený oponentem: 90

Známka navržená oponentem: A

Odpovědnost: Mgr. et Mgr. Hana Odstrčilová