Přístupnostní navigace
E-application
Search Search Close
Master's Thesis
Author of thesis: Ing. Jan Lorenc
Acad. year: 2022/2023
Supervisor: Ing. Jan Pluskal, Ph.D.
Reviewer: Ing. Ondrej Lichtner
The goal of this thesis is to create a solution for keyboard keys recognition to automate robotic writing on keyboards. Datasets for keyboard detection in an image, character detection in an image and post-processing correction of the character detection based on various keyboard layouts were created as prerequisites for this work. This research presents several approaches towards keyboard keys detection problem and selects the most suitable one. The chosen strategy is to split the problem into 3 phases which correspond to the prepared datasets. First of all, a separate keyboard detection is run. After that, characters are recognized in the detected keyboard region. These tasks are accomplished using neural networks and Canny edge detection technique. The last phase is the post-processing of the detection results (character correction, autocompletion of undetected characters, special keys distinction etc.). The results of each phase are evaluated. The contribution of the thesis lies in the creation of the datasets for keyboard and keys detection, and novel modular and extensible solution for the recognition process that yields very promising results.
machine learning, computer vision, object detection, recognition, neural networks, Canny edge detector, data augmentation, keyboard detection, character recognition
Date of defence
21.06.2023
Result of the defence
Defended (thesis was successfully defended)
Grading
A
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Topics for thesis defence
Language of thesis
English
Faculty
Fakulta informačních technologií
Department
Department of Information Systems
Study programme
Information Technology and Artificial Intelligence (MITAI)
Specialization
Information Systems and Databases (NISD)
Composition of Committee
doc. Ing. Radek Burget, Ph.D. (předseda) doc. Ing. Petr Matoušek, Ph.D., M.A. (člen) prof. RNDr. Alexandr Meduna, CSc. (člen) RNDr. Marek Rychlý, Ph.D. (člen) Ing. Vladimír Bartík, Ph.D. (člen) Ing. Šárka Květoňová, Ph.D. (člen)
Supervisor’s reportIng. Jan Pluskal, Ph.D.
Práce řeší problém detekce klávesnice a jednotlivých kláves z obrazu kamery robotické ruky. Práce byla oceněna na konferenci EXCEL@FIT. Dle studia SotA se jedná o unikátní a inovativní řešení. Implementace byla důkladně otestována a vyhodnocena. Výsledek bude nasazen v praxi ve firmě Y Soft.
Navrhuji hodnotit práci stupněm A jako výbornou.
Jedná se o zadání firmy Y Soft. Práce si klade za cíl rozpoznání klávesnice a kláves na různých typech zařízení a klávesnic. Dle provedeného SotA nebylo nalezeno dostupné řešení pro srovnání, proto hodnotím práci jako velmi obtížnou a inovativní.
Autor samostatně nalezl 37 referenčních zdrojů převážně kvalitní literatury a relevantních online materiálů. Byla nalezena pouze jedna práce řešící obdobný problém, proti které se autor relevantně vymezuje.
Student začal na tématu pracovat se značným předstihem a udržel si konstantní tempo během obou semestrů. Konzultace byly iniciovány na popud studenta, který byl vždy velmi dobře připraven.
Práce byla dokončena se značným předstihem a řádně konzultována.
Autor se zúčastnil konference EXCEL@FIT, kde byl oceněn.
Grade proposed by supervisor: A
Reviewer’s reportIng. Ondrej Lichtner
Celkovo prácu hodnotím na A. Jedná sa o kvalitné spracovanie aj technickej správy aj samotnej implementácie pre náročnú tému.
Súčasťou riešenia je aj vytvorenie datasetu, ktorý bol publikovaný na platforme Kaggle, ktorý je podľa slov študenta jediný voľne dostupný v kategórii klávesníc.
Študent svoju prácu prezentoval aj na konferencii Excel@FIT 2023 kde bola ohodnotená odbornou verejnosťou cenou Jiřího Kunovského.
Evaluation level: more difficult assignment
Zadanie vyžaduje rozsiahlejší priezkum do tématiky rozpoznávania objektov z obrazových dát. Zároveň v špecifickej problematike klávesníc, neexistujú jednoducho dostupné otvorené dátové sady a študent teda musel pripraviť vlastné.
Zadanie preto považujem za obtiažnejšie.
Evaluation level: assignment fulfilled
Všetky body zadanie boli splnené bez výhrad.
Evaluation level: is within the usual extent
Text práce je v obvyklom rozsahu, je informačne bohatý a je vhodne doplnený obrázkami, ktoré pomáhajú pochopeniu textu.
Technická správa je členená do logicky naväzujúcich kapitol štandardne usporiadaných do Teoretický rozbor "state of the art", Návrh a Implementácia, Vyhodnotenie. Všetok obsah je na správnom mieste, v poskytnutých informáciach sa dobre orientuje a je jednoducho pochopitelný.
Práca je písaná v angličtine na skutočne kvalitnej úrovni. Neobsahuje skoro žiadne preklepy, logické alebo štylistické chyby.
Študent v práci cituje z množstva relevantných zdrojov. Zoznam literatúry obsahuje 37 položiek. Odkazovaná literatúra obsahuje dobrý mix online zdrojov aj rôznych konferenčných alebo žurnálových článkov a kníh. V texte sú riadne odkazované.
Implementované riešenie je funkčné a bolo prezentované na osobnej konzultácii. Vytvorený kód je na vysokej úrovni, logicky zorganizovaný do modulov a tried s dedičnosťou tak aby bol modulárny a rozšíriteľný.
Riešenie je tiež plne zdokumentované dokumentačnými komentármi.
Práca bola vypracovaná ako firemné zadanie pre spoločnost Y Soft, podľa ich požiadavkov a má teda priame praktické využtie v kombinácii s platformou AIVA.
Grade proposed by reviewer: A
Responsibility: Mgr. et Mgr. Hana Odstrčilová