diplomová práce

Generativní oponentní neuronové sítě zachovávající identitu otisku prstu

Text práce 9.17 MB

Autor práce: Ing. Ján Kačur

Ak. rok: 2022/2023

Vedoucí: Ing. Jakub Špaňhel, Ph.D.

Oponent: Ing. Roman Juránek, Ph.D.

Abstrakt:

Táto práca sa sústredí na generovanie latentných odtlačkov prstov za pomoci Generatívnych oponentných neurónových sietí. Hlavnou úlohou je generovanie viacerých verzií latentných odtlačkov z čistého odtlačku, s rovnakou identitou. Identitu a štýl odtlačku by malo byť možné osobitne meniť. Zvolený postup sa zakladá na modeli AugNet. Navrhnutý algoritmus generuje latentné odtlačky z čistých binarizovaných odtlačkov a náhodného vektora, reprezentujúceho skreslenie, resp. štýl. V generátore sú použité AdaIN bloky na spojenie štýlu so vstupným odtlačkom. Je testovaných viacero trénovacích algoritmov, z ktorých WGAN-GP dosahuje najlepšie výsledky. Jednotlivé modely sú porovnávané kombináciou metrík FID a Rank-1 accuracy pri porovnávaní generovaných obrázkov s originálnymi vstupnými binarizovanými odtlačkami. Najlepšie modely sú vybrané ako Pareto optimálne kombinácie týchto 2 metrík.

Klíčová slova:

generovanie odtlačkov prsta, latentný odtlačok prsta, GAN, conditional GAN, AugNet, MOLF, NIST SD302, WGAN-GP

Termín obhajoby

16.06.2023

Výsledek obhajoby

obhájeno (práce byla úspěšně obhájena)

znamkaBznamka

Klasifikace

B

Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Otázky k obhajobě

  1. For what tasks can the synthetic latent fingerprints be possibly used? What are the practical applications?
  2. What are other possibilities for generating syntheitic latent fingerprints. Focus on non-GAN and non-NN methods? What are their properties?
  3. Dá se získat z latetní reprezentace původní?
  4. Je nutné použít otisk prstu?

Jazyk práce

angličtina

Fakulta

Ústav

Studijní program

Informační technologie a umělá inteligence (MITAI)

Specializace

Strojové učení (NMAL)

Složení komise

doc. Ing. Lukáš Burget, Ph.D. (předseda)
doc. Ing. Martin Čadík, Ph.D. (člen)
doc. Ing. Vladimír Janoušek, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
Ing. Tomáš Milet, Ph.D. (člen)

Posudek vedoucího
Ing. Jakub Špaňhel, Ph.D.

Práci hodnotím velmi pozitivně. Téma práce bylo opravdu náročné a dostupné metody velmi špatně zdokumentované. Student se práce chopil aktivně a po mnoha slepých uličkách doiteroval k funkčnímu řešení, které by mohlo sloužit jako základ generátoru syntetických dat z oblasti latentních otisků prstů pro průmysl. Celkově hodnotím práci stupněm A.

Kritérium hodnocení Slovní hodnocení
Informace k zadání

Tématem práce bylo generování latentních otisků prstů se zachováním identity zdrojového otisku.

Práce s literaturou

Práci s literaturou hodnotím pozitivně. Student prostudoval doporučenou literaturu a následně si dohledal další zdroje důležité k dokončení práce.

Aktivita během řešení, konzultace, komunikace

Student konzultoval po celou dobu aktivně a pravidelně. Na konzultace chodil připraven a měl vždy hotový nějaký pokrok v řešení. 

Aktivita při dokončování

Práce byla mírně pozdržena nutností nagenerování otisků prstů po dokončení všech tréninků a následného zpracování za pomoci průmyslového partnera pro finální evaluaci. 
Vzhledem k množství natrénovaných modelů a složitosti evaluace je toto zdržení akceptovatelné. Text práce byl průběžně konzultován.

Publikační činnost, ocenění

Student se zúčastnil konference Excel@FIT a za svoji práci získal i několik ocenění.

Výsledný počet bodů navržený vedoucím: 95

Známka navržená vedoucím: A

The student surveyed a large number of methods for generating fingerprints using GAN models and performed a large number of quality evaluation experiments in cooperation with a commercial company. During the solution, he had to deal with a number of problems such as unclear formulation of the methods and thus had to invent many things himself. I positively assess that he was able to successfully develop the method for generating prints that may actually be of practical use. But it is a pity that he did not conduct an experiment that would prove its practical applicability.


Despite all the criticisms of the thesis text and source codes, I think the student showed his understanding of the topic and ability to successfully implement and evaluate neural network-based system.

Kritérium hodnocení Slovní hodnocení Body
Náročnost zadání

Stupeň hodnocení: obtížnější zadání

I consider the topic of the thesis quite difficult due to bad documentation of the existing methods in literature. The student had to to orient himself in a large amount of contemporary methods which can be sometimes confusing.

The student focuses the thesis solely on latent fingerprints but there is no mention of the latent in the assignment. As I understood, generating clean fingerprints is not at this point interesting from industrial point of view and the focus is on the latent images due to lack of large scale data. In my view this is not problematic but just worth to mention here.

Rozsah splnění požadavků zadání

Stupeň hodnocení: zadání splněno

Rozsah technické zprávy

Stupeň hodnocení: je v obvyklém rozmezí

Prezentační úroveň technické zprávy

The work is divided into a theoretical and an experimental part, as is usual for such works. In the theoretical part, the student describes GAN models without reference to fingerprints. The FID metric is described here very briefly without context, thus it rather belongs to the experimental part. The subsection Fingerprint basics, in my opinion, belongs to the beginning of the thesis where it would make more sense. It is not clear from the text whether the student understands the described methods at the level at which he describes them or if he just took the descriptions from the articles.

In the experimental part, the student first describes the implementation of the methods he used and the way they were trained. Separate chapter is left for the experiments and their results. This part is structured logically and is quite readable. However, in my opinion, it would be better to avoid lengthy descriptions of what didn't work (or just briefly mention it) and focus on the final solution.

75
Formální úprava technické zprávy

The thesis in nicely typeset. Some figures, however, have reduced resolution and missing important details. I did not notice any serious language issues.

90
Práce s literaturou

Student cite relevant scientific literature regarding generative networks.

90
Realizační výstup

The uploaded files contain source codes for training models and the trained models. The sources are not commented, so it is very difficult to understand them. It is not even clear whether the student implemented everything himself (probably yes), or which parts from public open source projects were used. Codes for evaluation of experiments (calculation of Rank1 accuracy and summary of results) are missing.

80
Využitelnost výsledků

The result is a set of models for generating latent fingerprints and source codes for their training. The generated images are not perfect and contain artifacts, which is expected due to the way they were generated. What I was missing was an experiment where the generated data would be used to train a real system for latent fingerprint recognition, in order to show whether the new data helps to increase the accuracy and robustness of the system (which is presumably the main reason for generating the data in the first place).

Otázky k obhajobě:
  1. What are other possibilities for generating syntheitic latent fingerprints. Focus on non-GAN and non-NN methods? What are their properties?
  2. For what tasks can the synthetic latent fingerprints be possibly used? What are the practical applications?
Výsledný počet bodů navržený oponentem: 85

Známka navržená oponentem: B

Odpovědnost: Mgr. et Mgr. Hana Odstrčilová