Bachelor's Thesis

Real-time system for keystroke recognition from acoustic signals

Final Thesis 3.11 MB Appendix 149.43 kB

Author of thesis: Bc. Kristián Polák

Acad. year: 2025/2026

Supervisor: Ing. Vojtěch Myška, Ph.D.

Reviewer: Ing. Michal Švento

Abstract:

The thesis focuses on the design and implementation of a system for recognizing typed input from acoustic traces recorded in real time. The objective is to develop a demonstration prototype in which a mobile device captures keystroke audio data and transmits them to a server for further processing. On the server side, the data are analyzed using artificial intelligence models that reconstruct the written input based on the acoustic characteristics of individual key presses. The models are trained on a custom dataset collected through the proposed mobile application. The application is designed to support the acquisition of multiple sensor modalities, enabling future extensions of the system. The best-performing model achieved 81,70% exact accuracy and 88,51% zone accuracy on the test set.

Keywords:

Acoustic side channel, audio processing, convolutional neural networks, data augmentation, keystroke recognition, mel spectrogram, mobile data acquisition, real-time classification

Date of defence

16.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil bakalářskou práci a odpověděl na otázky členů komise a oponenta. Otázky: V práci chýba zmienka o priemernom čase tréningu siete. Môžete popísať, ako prebiehal tréning a aká je jeho výpočtová náročnosť? Jak jste zpracovával jednotlivé spektrogramy? Zkoušel jste si zobrazit dané klávesy přímo ve spektrogramu? Neuvažoval jste o jiných možnostech řešení? Zkoušel jste řešení s více než jedním telefonem?

Language of thesis

Slovak

Faculty

Fakulta elektrotechniky a komunikačních technologií

Department

Department of Telecommunications

Study programme

Information Security (BPC-IBE)

Composition of Committee

prof. Ing. Jan Hajný, Ph.D. (předseda)
doc. Ing. Pavel Mašek, Ph.D. (místopředseda)
Mgr. Václav Stupka, Ph.D. (člen)
Ing. Adrián Tomašov, Ph.D. (člen)
Ing. Jan Dvořák, Ph.D. (člen)
Ing. David Kohout, Ph.D. (člen)
Ing. Vojtěch Sikora (člen)

Supervisor’s report
Ing. Vojtěch Myška, Ph.D.

Cílem práce je návrh a implementace systému pro rozpoznávání psaného vstupu z akustických stop v reálném čase. Student navrhl a implemetoval předzpracování dat, AI modely a systém pro klasifikaci stisku kláves v reálném čase. Dosažené výsledky diskutuje a shrnuje možnosti dalšího výzkumu. Zadání práce bylo splněno v plném rozsahu. Při řešení práce postupoval systematicky, svědomitě a pravidelně konzultoval dosažené výsledky. Určité nedostatky lze spatřovat ve formální stránce práce (překlepy). Tyto nedostatky však zásadně nesnižují odbornou úroveň práce. Navrhuji hodnocení A/91 b. Points proposed by supervisor: 91

Grade proposed by supervisor: A

Reviewer’s report
Ing. Michal Švento

Bakalárska práca Kristiána Poláka sa zaoberá klasifikáciou stlačených kláves klávesnice čisto na základe zvukového záznamu. Práca je prehľadná a má primeraný rozsah. Autor mohol štruktúru textu rozčleniť detailnejšie než len do dvoch kapitol, no napriek tomu sa text číta dobre a obsahuje len malé množstvo chýb. Za mierne nedostatky považujem taktiež niektoré veľmi malé obrázky, ktoré sú ťažko čitateľné. Z práce je zrejmé, že študent odviedol veľké množstvo práce a navrhol viacero vlastných riešení. Prácu preto navrhujem hodnotiť 91 bodmi/A. Topics for thesis defence:
  1. V práci chýba zmienka o priemernom čase tréningu siete. Môžete popísať, ako prebiehal tréning a aká je jeho výpočtová náročnosť?
Points proposed by reviewer: 91

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová