Master's Thesis

Multimodal age verification from document and camera image

Final Thesis 14.33 MB

Author of thesis: Ing. Vít Hromek

Acad. year: 2025/2026

Supervisor: Ing. Ilona Janáková, Ph.D.

Reviewer: Ing. Peter Honec, Ph.D.

Abstract:

This work addresses the design and partial implementation of a prototype device for automated user age verification by combining information extracted from an identity document with age estimation from a facial image. The work is grounded in a survey of methods for document reading (MRZ/OCR), face processing, and deep-learning-based age estimation, with particular emphasis on the relevant legal framework and personal data protection requirements. Based on these findings, a system architecture is proposed that performs local (edge) processing on an embedded platform to minimize the transfer of sensitive data outside the device.

The work also implements a basic processing pipeline. The document module processes a predefined MRZ region of interest (ROI), uses an MRZ recognition and parsing library, and computes the user’s age from the extracted date of birth. The face module detects the face using OpenCV Haar cascades, crops and normalizes the facial region, and then runs an SSR-Net age estimation model deployed via TensorFlow Lite. Outputs from both branches are combined in a fusion module that evaluates compliance with an age threshold and basic consistency between document-derived age and face-based age estimation. The resulting prototype validates the integration concept and forms a basis for future extensions such as liveness detection and systematic evaluation.

Keywords:

age verification; identity document; MRZ; OCR; age estimation; face analysis; deep learning; edge computing; Raspberry Pi; decision fusion; personal data protection; GDPR

Date of defence

09.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student obhájil diplomovou práci. Komise neměla žádné námitky k řešené práci. V průběhu odborné rozpravy student odpověděl na dotazy týkající se ochrany osobních údajů a možného budoucího využití práce.

Language of thesis

Czech

Faculty

Department

Study programme

Cybernetics, Control and Measurements (MPC-KAM)

Composition of Committee

doc. Ing. Radovan Hájovský, Ph.D. (předseda)
doc. Ing. Zdeněk Bradáč, Ph.D. (místopředseda)
Ing. Peter Honec, Ph.D. (člen)
Ing. Ilona Janáková, Ph.D. (člen)
Ing. Stanislav Klusáček, Ph.D. (člen)
Ing. Miloslav Richter, Ph.D. (člen)

Supervisor’s report
Ing. Ilona Janáková, Ph.D.

Diplomová práce pana Hromka zpracovává téma multimodálního ověřování věku ze snímků dokladu a obličeje. Student si tuto náročnější úlohu navrhl sám a jeho vlastní motivace byla znát v celém průběhu řešení práce. K zadání přistupoval aktivně, zodpovědně a velmi samostatně. Pravidelně informoval o průběhu řešení. Dokázal pružně reagovat na technické komplikace (např. při ladění robustnosti OCR čtečky či optimalizaci modelů pro formát TFLite) a prokázal schopnost dotáhnout komplexní inženýrské dílo od teoretického návrhu až po fyzickou realizaci.
Technická zpráva má logickou a přehlednou strukturu, která provází čtenáře od teoretických východisek až po finální experimentální vyhodnocení. Rozsah práce činí včetně příloh 65 normostran. Textová i grafická prezentace je na výborné úrovni. Bloková schémata, diagramy datových toků (např. workflow aplikací) a výsledné grafy benchmarků jsou přehledné, dostatečně detailní a usnadňují pochopení řešené úlohy.
Práce je sepsána s minimem překlepů či gramatických chyb. Jazykový styl je čistě odborný, terminologie z oblasti počítačového vidění a hlubokého učení je používána korektně. Typografické zpracování splňuje standardy kladené na diplomové práce. Zdrojové kódy a technická dokumentace jsou strukturované a vykazují vysokou softwarovou kulturu.
Student prokázal schopnost efektivně pracovat s vědeckou literaturou a online zdroji. Seznam použité literatury čítá 42 zdrojů. Rešeršní část vhodně pokrývá jak principy OCR a čtení MRZ zón, tak moderní metody detekce obličeje a odhadu věku pomocí hlubokých neuronových sítí. Všechny převzaté poznatky, schémata a referenční studie jsou řádně citovány v souladu s citačními standardy a propojeny s finálním srovnáním v experimentální části práce.
Práce byla zkontrolovaná v antiplagiátorském systému VUT. Systém nenašel žádnou významnou shodu s databází závěrečných prací ani s jinými publikacemi, která by vykazovala známky plagiátorství. Práci tak lze považovat za původní dílo studenta.
Podle mého názoru předložená práce plně plní všechny body zadání. Student úspěšně navrhl, sestavil a naprogramoval funkční laboratorní prototyp edge zařízení na platformě Raspberry Pi 5, které kombinuje dvě obrazové větve, dokladovou (OCR/MRZ) s větví pro odhad věku z obličeje. Výsledkem je fyzický, funkční laboratorní prototyp zařízení s integrovaným dotykovým displejem, duálním kamerovým systémem a optimalizovaným softwarovým stackem (TensorFlow Lite) pro edge inference. Vyvinutá aplikace odděluje sběr a vyhodnocení nového vzorku od benchmarkovací části. Autor nezůstal u jednoho obecného modelu, ale připravil, vhodně dotrénoval, pro cílové zařízení exportoval a exaktně porovnal pět hlubokých architektur z hlediska chybových i výkonových metrik. Pro experimenty jistě pracně sestavil vlastní dataset se 150 vzorky, cíleně náročně zaměřený na rozsah 16 až 22 let, tedy v okolí rozhodovací hranice 18 let. Kriticky zhodnotil jednak regresní schopnosti jednotlivých modelů, ale také schopnost binárního rozhodnutí na hranici 18 let. Dosažené výsledky sice nelze podle očekávání využít jako dostatečně bezpečný podklad pro samostatné rozhodnutí o splnění věkové hranice, ale lze je použít např. pro orientační kontrolu konzistence mezi dokladem a osobou před kamerou, jako jednu z cest pro zvýšení odolnosti vůči pokusům o oklamání systému. Zjištěné trade-offy (vztah mezi latencí a přesností jednotlivých modelů na Raspberry Pi 5), ale především celkově připravené HW i SW prostředí, poskytují cenné a bezprostředně využitelné podklady a nástroje pro další výzkum a vývoj v oblasti autonomních kiosků a systémů s požadavkem na lokální ochranu osobních údajů.
Vzhledem k výše zmíněnému navrhuji hodnocení A (90 b) a doporučuji práci k obhajobám. Points proposed by supervisor: 90

Grade proposed by supervisor: A

Reviewer’s report
Ing. Peter Honec, Ph.D.

Práce diplomanta Hromka se zabývá ověřením věku z fotografie obličeje a také rozpoznáním dokladu (občanského průkazu). Téma práce je komplexní a zahrnuje nejen rozbor, ale také hardwarovou a softwarovou realizaci samotného prototypu a sestavení do funkčního celku.
Student navrhl a implementoval kompletní systém postavený na platformě Raspberry Pi 5 se dvěma kamerami, dotykovým displejem a lokálním zpracováním dat. Systém je rozdělen na dokladovou větev pro získání věku z občanského průkazu a obrazovou větev odhad věku ze snímku obličeje.
V experimentální části autor porovnává pět modelů, a to ResNet50, VGG16, VGG19, InceptionV3 a Xception. Benchmark byl proveden na vlastním datasetu čítajícím 150 vzorků. Tento dataset určitě nebylo jednoduché získat, nicméně pro detailnější porovnání bych si představoval benchmark i na veřejně dostupných datasetech, které jsou daleko rozsáhlejší. Výsledky, které nejsou použitelné pro přesné určení věku, jsou očekávatelné a samotným cílem práce nebylo tento předpoklad rozbít. V práci postrádám popis OCR/MRZ a úspěšnost čtení, případně využití kontrolního znaku z OP.
Práce jako taková je napsána na dobré úrovni a to jak po stránce stylistické, tak zejména věcné. Je napsána v logickém sledu, čtivě v odpovídajícím rozsahu. Výsledky práce prokazuje schopnost autora samostatně řešit technicky náročný komplexní úkol zahrnující počítačové vidění, OCR, neuronové sítě a také implementaci a sestavení prototypu. Z tohoto důvodu práci doporučuji k obhajobě. Points proposed by reviewer: 90

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová