Master's Thesis

Face Anti-Spoofing with Out-of-distribution Detection

Final Thesis 6.37 MB

Author of thesis: Ing. Petr Češka

Acad. year: 2023/2024

Supervisor: Ing. Jakub Špaňhel, Ph.D.

Reviewer: Ing. Marek Vaško

Abstract:

This thesis aims to improve the accuracy of Vision Transformer-based face anti-spoofing models in detecting presentation attacks. The thesis uses out-of-distribution detection to filter out images that are too different from the training data, referred to as in-distribution. It examines how successful different methods are in identifying different data distributions, and how the filtering of out-of-distribution data based on these methods affects the accuracy of the model. Using the relative Mahalanobis distance, an AUROC of 97.6% can be achieved when distinguishing between in-distribution and out-of-distribution data. Filtering out images that should not be classified increases the accuracy of all tested models to over 99.9%. This can provide an additional layer of security for applications against face spoofing attacks.

Keywords:

Biometric Security, Face Liveness Detection, Deep Neural Networks, Image Processing, Spoofing, Anti-Spoofing, Vision Transformer, Out-Of-Distribution Detection, Relative Mahalanobis Distance, Data Filtering

Date of defence

17.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. Ako by sa v reálnom systéme využíval výstup pre dáta mimo distribúciu? Ako to ovplyvní prístup do biometrického systému pre skutočné fotky ľudí, ktoré boli označené mimo distribúciu? Je toto správanie systému žiadané?
  2. Aký percentil dát ostáva v testovacej sade po aplikovaní OOD metód v sekcii 6.2?
  3. Na kolika datech jste řešení vyhodnocoval?
  4. Jakou formu mají textové vstupy do enkodéru?

Language of thesis

Czech

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Machine Learning (NMAL)

Composition of Committee

prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Lukáš Burget, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
doc. RNDr. Pavel Smrž, Ph.D. (člen)
doc. Ing. Vítězslav Beran, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)

Supervisor’s report
Ing. Jakub Špaňhel, Ph.D.

Student zadání splnil. Natrénoval model pro klasifikaci živosti tváře a následně evaluoval různé metody pro detekci dat mimo distribuci. V rámci experimentů také navrhl menší modifikace některých dříve publikovaných metod. Výsledné řešení je dle vyhodnocení funkční a filtrace dat mimo distribuci zlepšuje výsledky klasifikace.
Práci hodnotím stupněm B.

Evaluation criteria Verbal classification
Information about assignment

Student měl za úkol řešit problematiku detekce dat mimo distribuci pro modely klasifikující živost tváře. Během řešení DP musel řešit dva velké celky - vytvoření modelu pro klasifikaci živosti a analýzu možností detekce dat mimo trénovací distribuci. Zadání lze tedy řadit k obtížnějším.

Activity during solution, consultations, communication

Práce byla dokončena v termínu. Text práce byl nasdílen k náhlednutí. Přípomínky ke struktuře práce byly zapracovány.

Publication activity, awards

Student se zúčastnil studentské konference Excel@FIT.

Work with literature

Student si sám dohledal veškeré potřebné zdroje a další literaturu.

Activity during solution, consultations, communication

Aktivita studenta v rámci řešení diplomové práce byla nerovnoměrná. Začátek řešení byl velmi pozvolný a sestával se primárně ze studia aktuálního stavu poznání. Ke konci řešení se aktivita stupňovala.

Points proposed by supervisor: 82

Grade proposed by supervisor: B

Reviewer’s report
Ing. Marek Vaško

Práca ako celok je veľmi kvalitná a vyžaduje rozsiahly prehľad aktuálne využívaných metód, ktoré riešiteľ preskúmal.


Menšie formálne nedostatky nemajú vplyv na celkovú pochopiteľnosť a prínos prezentovaného výskumu.


Pre prácu navrhujem hodnotenie A.

Evaluation criteria Verbal classification Points
The extent to which the requirements of the assignment have been met

Evaluation level: assignment fulfilled

Extent of the technical report

Evaluation level: is within the usual extent

Presentation level of the technical report

Práca ako celok je dobre čitateľná.

Text obsahuje všetko podstatné a vyhýba sa zbytočným informáciam.

Jednotlivé kapitoly sú veľmi dobre a logicky delené.

Prezentované výsledky sú zároveň prehľadné a často prezentované v dobre spracovaných grafoch a tabuľkách.

Je jasné, že riešiteľ rozumie skúmanej problematike a vie získané informácie aplikovať na unikátny problém.

90
Formal preparation of a technical report

Po jazykovej stránke je práca veľmi dobrá a len z minimálnym množstvom chýb.

Z pohľadu typografickej stránky vidím menší problém s používaním rastrových obrázkov namiesto vektorových. Niektoré prevzaté tabuľky sú vložené ako obrázky. Vo vzorcoch 3.10 a 3.12 je menšia nekonzistencia, ale tá neovplyvňuje celkovú pochopiteľnosť komunikovanej informácie.

80
Work with literature

Práca má celkovo 53 referencií a všetky sa odkazujú na články prezentované na kvalitných konferenciách alebo v kvalitných žurnáloch.

V práci riešiteľ využíva referencie korektne. Väčšina z citovaných metód  je približne z posledných piatich rokov a predstavuje aktuálny state-of-the-art.

Je jasné, že riešiteľ prenikol problematiku do hĺbky.

95
Realisation output

Programové riešenie je zdokumentované a je jasné, akým spôsobom nastaviť prostredie, spustiť jednotlivé experimenty a spustiť vyhodnotenie.

V technickej správe je zároveň jasné to, ako jednotlivé systémy fungujú a čo funguje najlepšie. Celkovo bolo vykonané veľké množstvo experimentov.

Vyhodnotenie a realizovaný výstup sú na vysokej úrovni.

95
Usability of results

Práca ako celok prezentuje výsledky v aplikácii existujúcich metód pre odhad dát mimo distribúciu na problém detekcie živosti.

Z prezentovaných výsledkov je jasný prínos a môžu byť využité ako referencia pre budúci vývoj.

The difficulty of the assignment

Evaluation level: very difficult assignment

Zadanie je výskumného charakteru a vyžaduje znalosti z oblasti klasifikácie živostí snímkov tváre a odborný prehľad množstva metód pre detekciu dát mimo distribúciu. Z tohto pohľadu sa jedná o obtiažnejšie zadanie.

Topics for thesis defence:
  1. Ako by sa v reálnom systéme využíval výstup pre dáta mimo distribúciu? Ako to ovplyvní prístup do biometrického systému pre skutočné fotky ľudí, ktoré boli označené mimo distribúciu? Je toto správanie systému žiadané?
  2. Aký percentil dát ostáva v testovacej sade po aplikovaní OOD metód v sekcii 6.2?
Points proposed by reviewer: 90

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová