Bachelor's Thesis

Privacy-preserving facial recognition on edge devices

Final Thesis 5.14 MB Appendix 13.27 MB

Author of thesis: Andrej Pecník

Acad. year: 2025/2026

Supervisor: Ing. Petr Dzurenda, Ph.D.

Reviewer: Ing. Petr Ilgner, Ph.D.

Abstract:

This thesis deals with privacy-preserving face recognition on edge devices within the loyalty program developed at the Brno University of Technology. The theoretical section describes modern methods of face detection and recognition, particularly the SCRFD detector, face alignment using keypoints, and the extraction of embeddings using the ArcFace MobileFaceNet model, along with selected anonymization and pseudonymization techniques. After an analysis of available embedded platforms, the Raspberry Pi 4B microcomputer was chosen as the target device. A system based on classical machine learning models combined with principal component analysis and differential privacy was implemented first, but it proved insufficiently reliable in live deployment. For this reason, the final application was built on the pretrained ArcFace MobileFaceNet model complemented by the SCRFD detector and face alignment. The resulting kiosk application performs face detection, alignment, and recognition locally on the Raspberry Pi 4B. The solution was experimentally evaluated, achieving 99.08 % accuracy on the LFW dataset; its robustness under degraded capture conditions and its compatibility with the BUT loyalty system were also verified.

Keywords:

face recognition, face detection, edge devices, ArcFace, MobileFaceNet, SCRFD, face alignment, embedding, cosine similarity, privacy preservation, biometrics, PEEP

Date of defence

16.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil bakalářskou práci a odpověděl na otázky členů komise a oponenta. Otázky oponenta: Model Random Forest dosáhl na vlastním datasetu přesnosti přibližně 92 %, přičemž autor připouští možnost přetrénování. Jakým způsobem by bylo možné overfitting ověřit a jak by se podle autora změnila přesnost při použití rozsáhlejšího a rozmanitějšího datasetu? Jaký přínos by podle autora přineslo doplnění některé z diskutovaných metod ochrany soukromí a jak by ovlivnilo přesnost rozpoznávání?

Language of thesis

Slovak

Faculty

Department

Study programme

Information Security (BPC-IBE)

Composition of Committee

prof. Ing. Jiří Mekyska, Ph.D. (předseda)
Ing. Petr Dzurenda, Ph.D. (člen)
Ing. Tomáš Mácha, Ph.D. (člen)
Ing. Radim Dvořák (člen)
Ing. Ondřej Dohnal (člen)
JUDr. Pavel Loutocký, BA (Hons), Ph.D. (místopředseda)
Ing. Viet Anh Phan (člen)

Supervisor’s report
Ing. Petr Dzurenda, Ph.D.

Prezentační úroveň závěrečné práce i její rozsah jsou na velmi dobré úrovni. Z formálního hlediska je práce rovněž na velmi dobré úrovni. Práce studenta s literaturou je na dobré úrovni. Výsledky práce mohou být využity ve výzkumných projektech zaměřených na pokročilé autentizační metody využívající umělou inteligenci a prvky ochrany soukromí uživatelů. Student implementoval autentizační modul založený na rozpoznávání obličeje využívající model ArcFace, doplněný o detektor SCRFD a zarovnání obličeje. Softwarový modul provádí detekci, zarovnání a rozpoznávání obličeje lokálně na mikropočítači Raspberry Pi 4B. Navržené řešení bylo experimentálně ověřeno, přičemž na datové sadě LFW dosáhlo přesnosti 99,08 %. Student pravidelně konzultoval postup řešení a průběžně reportoval výsledky své práce. Celkově hodnotím práci známkou A, 95 bodů. Points proposed by supervisor: 95

Grade proposed by supervisor: A

Reviewer’s report
Ing. Petr Ilgner, Ph.D.

Předložená bakalářská práce se zabývá problematikou rozpoznávání obličeje se zachováním soukromí na EDGE zařízeních. Zvolené téma považuji za aktuální a náročné, neboť propojuje oblasti více oblastí a vyžaduje nasazení na výpočetně omezených platformách. Autor prokázal schopnost samostatně nastudovat rozsáhlou problematiku a navrhnout funkční řešení odpovídající zadání práce, zadání pak považuji za splněné.

Za silnou stránku práce považuji zejména praktickou část. Autor provedl analýzu dostupných hardwarových platforem, vhodně zdůvodnil výběr Raspberry Pi 4B a následně na tomto zařízení navržené řešení implementoval a experimentálně ověřil. Oceňuji rovněž použití moderních metod detekce a rozpoznávání obličeje. Pozitivně hodnotím také realizované experimenty zaměřené na ověření robustnosti systému, včetně analýzy vlivu různých podmínek snímání.

Určitou výhradu mám k naplnění aspektu zachování soukromí. Teoretická část se podrobně věnuje metodám, jako jsou diferenciální soukromí, PCA či PEEP, avšak finální implementované řešení je založeno především na standardních ArcFace embeddingech. Autor sice správně argumentuje tím, že na server nejsou přenášeny fotografie, ale pouze embeddingy, nicméně některé popsané metody ochrany soukromí nebyly využity. Domnívám že by bylo vhodné podrobněji diskutovat dosaženou míru ochrany soukromí. Tento nedostatek však nevnímám jako zásadní vzhledem k tomu, že autor popisuje důvody, které vedly ke změně zvoleného přístupu.

Z formálního hlediska lze práci vytknout několik drobných nedostatků. Například kvalita některých obrázků není zcela dostačující a zhoršuje jeho čitelnost. V textu se rovněž vyskytují drobné stylistické a formální nepřesnosti, které však nesnižují odbornou úroveň práce. Autor pracoval s velkým množstvím zdrojů, které jsou vhodně zvoleny. Některá tvrzení v textu a obrázky však referenci nemají uvedenu, přestože je zřejmé, že autor čerpal z uvedených zdrojů. Také lze vytknout nejednotný styl uvádění data citace či duplicitní referenci [5] a [13].

I přes uvedené dílčí nedostatky práci považuji za mimořádně přínosnou a pečlivě zpracovanou. Práci doporučuji k obhajobě s hodnocením A / 90 b. Topics for thesis defence:
  1. Model Random Forest dosáhl na vlastním datasetu přesnosti přibližně 92 %, přičemž autor připouští možnost přetrénování. Jakým způsobem by bylo možné overfitting ověřit a jak by se podle autora změnila přesnost při použití rozsáhlejšího a rozmanitějšího datasetu?
  2. Jaký přínos by podle autora přineslo doplnění některé z diskutovaných metod ochrany soukromí a jak by ovlivnilo přesnost rozpoznávání?
Points proposed by reviewer: 90

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová