bakalářská práce

Automatická volba grafického nástroje pomocí ručně kreslených skic

Text práce 5.32 MB

Autor práce: Bc. Richard Harman

Ak. rok: 2022/2023

Vedoucí: doc. Ing. Martin Čadík, Ph.D.

Oponent: Ing. Petr Bobák, Ph.D.

Abstrakt:

Táto práca je zameraná na klasifikáciu skíc reprezentujúcich telestračné nástroje. Táto klasifikácia bola vytvorená pre telestračnú aplikáciu ako súčasť sekcie na kreslenie voľnou rukou. Po vybratí skíc reprezentujúcich nástroje, zozberaní dát za pomoci aplikácie, ktorú som vytvoril na tento účel, som vytvoril dva datasety. Prvý dataset bol použitý na trénovanie konvolučnej neurónovej siete na klasifikáciu skíc. Druhý dataset bol použitý na trénovanie segmentačnej neurónovej siete pre rozlíšenie línií a elíps v skici. Obe siete boli implementované do aplikácie na ukážku ich funkcionality v reálnom čase a zároveň pre experimentovanie a zisťovanie ich presnosti. Táto aplikácie tiež obsahuje proces dodatočného spracovania, vďaka ktorému vie reprodukovať reprezentácie telestračných nástrojov zo skíc.

Klíčová slova:

klasifikácia skíc, automatický výber nástrojov, segmentácia obrázkov, konvolučné neurónové siete, počítačové videnie, spracovanie obrazu, interakcia človek -- počítač

Termín obhajoby

14.06.2023

Výsledek obhajoby

obhájeno (práce byla úspěšně obhájena)

znamkaBznamka

Klasifikace

B

Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Otázky k obhajobě

  1. Uveďte parametry grafického tabletu použitého k řešení práce a objasněte potřebu segmentace tahů.
  2. Při vytváření datasetu jste pro rozlišení pixelů korespondujících s čarami a elipsami použil algoritmu pro nalezení kontur. Proč je tento přístup nedostačující a je třeba trénovat segmentační síť?

Jazyk práce

angličtina

Fakulta

Ústav

Studijní program

Informační technologie (BIT)

Složení komise

prof. Ing. Adam Herout, Ph.D. (předseda)
doc. Dr. Ing. Otto Fučík (člen)
doc. Ing. Vítězslav Beran, Ph.D. (člen)
Ing. Jiří Hynek, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)

In general, I consider the quality of this work slightly above the average. The student proposed and implemented a functional system for sketch classification and segmentation. The student further collected a dataset of almost 1.5K sketches. I appreciate that the text part of the thesis is written in English.

Kritérium hodnocení Slovní hodnocení
Informace k zadání

The difficulty of the assignment of this thesis is slightly above average. The student had to study current research work on sketch recognition, familiarize himself with machine learning algorithms and collect the data necessary to train the methods. I am satisfied with the results.

Práce s literaturou

I find the student's activity in obtaining and using study materials slightly above average. The student showed the ability to study, understand and use research articles and other sources.

Aktivita během řešení, konzultace, komunikace

From my viewpoint, the student's activity was fluctuating during the solution. The student often missed to report the progress in the agreed regular weekly intervals. 

Aktivita při dokončování

The work was completed just before the deadline, the final content was partially consulted with the supervisor.

Publikační činnost, ocenění
Výsledný počet bodů navržený vedoucím: 85

Známka navržená vedoucím: B

Posudek oponenta
Ing. Petr Bobák, Ph.D.

Autor v rámci bakalářské práce prostudoval problematiku klasifikace a segmentace ručně kreslených skic a vytvořil přesvědčivé a komplexní dílo spojující množství metod a technologií do jednoho celku splňující zadání práce. Vzhledem k výše zmíněným prezentačním a formálním nedostatkům navrhuji hodnocení stupněm B.

Kritérium hodnocení Slovní hodnocení Body
Náročnost zadání

Stupeň hodnocení: obtížnější zadání

Zadání práce je obtížnějšího charakteru. Autor musel nastudovat problematiku rozpoznávání skic a dále také klasifikační a segmentační metody strojového učení. Součástí zadání byl mimo jiné i sběr dat pro trénování zmíněných úloh strojového učení.

Rozsah splnění požadavků zadání

Stupeň hodnocení: zadání splněno s drobnými výhradami

Poslední bod zadání (diskutujte silné a slabé stránky navrženého řešení) není v technické zprávě adresován.

Rozsah technické zprávy

Stupeň hodnocení: je v obvyklém rozmezí

Rozsahem se práce nachází v obvyklém rozmezí – závěr je uveden na straně 41 (cca 62 normostran).

Prezentační úroveň technické zprávy

Logická struktura technické zprávy je na průměrné úrovni. V kapitole 2 pojmenovaná jako „Related work“ se prolínají informace o existujících metodách společně s návrhem a realizací nástroje pro rozpoznání skic. V textu se nezřídka objevují také reference na budoucí části, což výrazně znepříjemňuje pochopitelnost a komplikuje návaznost sekcí. Ve zprávě zcela chybí přehled typů či vlastností grafických tabletů pro záznam ručních kreseb, který by pomohl objasnit potřebu segmentace tahů, jejiž motivace je v technické zprávě zcela opomenuta. Text zprávy neposkytuje ani specifikaci typu či parametry grafického tabletu použitého pro sběr dat a evaluaci realizovaného řešení. V kapitole 5 (Experiments) chybí demografické informace o participantech evaluační studie.

70
Formální úprava technické zprávy

Práce je psána ve anglickém jazyce. Po gramatické stránce se v textu četně vyskytují chyby v určitých a neurčitých členech a menší množství překlepů. Po typografické stránce je formátování textu na průměrné úrovni. Rovnice nejsou číslovány a názvy kapitol/sekcí jsou často bezprostředně následovány sekcí/subsekcí bez průvodního textu (např. sekvence Chapter 4, Method, 4.1 Annotation tool, 4.1.1 Framework). Obrázky 4.10 až 4.14 jsou zbytečně veliké a jejich rozložení zabírá příliš mnoho prostoru (vhodnější by bylo uspořádání do dvojic či trojic).

75
Práce s literaturou

Autor cituje 20 převážně vědeckých zdrojů relevantních pro řešený problém.

95
Realizační výstup

Výstupem práce je nástroj pro rozpoznání sedmi tříd ručně kreslených skic, které reprezentují grafické symboly/nástroje využívané v nástrojích pro analýzu sportovních záznamů, a rozmístění těchto grafických symbolů. Součástí výstupů je také dataset čítající více než 1400 skic získaných od 97 participantů. Klasifikace skic je realizována neuronovou sítí ResNet s přesností klasifikace 99.64 %, bohužel bez bližšího zdůvodnění a analýzy výběru. Dle mého názoru, by bylo vhodné porovnat více architektur, např. stanovit baseline síť a následně porovnat s mocnějšími typy jako VGG, EfficientNet, ResNet pro vybudování hlubší představy o velikosti sítě potřebné pro klasifikaci skic. Následně je raster skici segmentován pomocí architektury U-net dle (1) směru tahu nebo (2) prvku (tj. čára, elipsa, pozadí). Přesnost segmentace je však nejasná, neboť v technické zprávě není uvedena kvalitativní metrika (např. pixel accuracy/error). Na základě klasifikace a segmentace jsou grafické symboly vytvořeny a umístěny na odpovídající pozice.

90
Využitelnost výsledků

Realizované dílo je funkční a vzniklo ve spolupráci se společností ChyronHego Corporation, která se mimo jiné zaměřuje na poskytování řešení pro analýzu a sledování sportovních výkonů.

Otázky k obhajobě:
  1. Při vytváření datasetu jste pro rozlišení pixelů korespondujících s čarami a elipsami použil algoritmu pro nalezení kontur. Proč je tento přístup nedostačující a je třeba trénovat segmentační síť?
  2. Uveďte parametry grafického tabletu použitého k řešení práce a objasněte potřebu segmentace tahů.
Výsledný počet bodů navržený oponentem: 88

Známka navržená oponentem: B

Odpovědnost: Mgr. et Mgr. Hana Odstrčilová