bakalářská práce

Hluboké neuronové sítě pro sešívání obrázků

Text práce 5.49 MB Příloha 1.45 MB

Autor práce: Bc. Diana Maxima Držíková

Ak. rok: 2022/2023

Vedoucí: doc. Ing. Michal Španěl, Ph.D.

Oponent: Ing. Marek Vaško

Abstrakt:

Zošívanie obrázkov nie je taký neznámy pojem ako sa na prvý pohľad môže zdať. Určite každý bežný používateľ technológií sa už zozámil s pojmom panoramatický obrázok. V pozadí na zariadení sa prekrývajúce sa obrázky zošívajú a tým vzniká vysoko kvalitný obrázok. Na to aby tento proces fungoval, existujúce algorimy musia spoľahlivo a presne detekovať zaujímavé body, podľa ktorých sa dokáže obrázok správne umiesniť. V tejto práci budú predstavené tradičné metódy na zošívanie obrázkov a taktiež aj metódy s pomocou hlbokých neurónových sietí. Hlavné dva modely, ktoré budú opísane a použíté sú implementácie SuperPoint a SuperGlue. Implementácia bude adaptovaná na párovací systém pre viac ako dva obrázky. Ostatné experimenty, ktoré boli vyskúšané a dopomohli k pochopeniu tejto problematiky budú opísane a vyhodnotené.

Klíčová slova:

hlboké učenie, hlboké neurónové siete, konvolučné neurónové siete, zošívanie obrázkov, metódy zošívania obrázkov, grafové neurónové siete, SuperPoint, SuperGlue, SIFT, estimácia homografie medzi obrázkami

Termín obhajoby

13.06.2023

Výsledek obhajoby

obhájeno (práce byla úspěšně obhájena)

znamkaBznamka

Klasifikace

B

Průběh obhajoby

Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm B.

Otázky k obhajobě

  1. What was the motivation to create your own neural network architecture for key-point detection instead of using architecture from SuperPoint?
  2. How well did neural network for homography prediction perform?
  3. How large were used datasets?

Jazyk práce

angličtina

Fakulta

Ústav

Studijní program

Informační technologie (BIT)

Složení komise

doc. Ing. Martin Čadík, Ph.D. (předseda)
doc. Ing. Zdeněk Vašíček, Ph.D. (člen)
Ing. Šárka Květoňová, Ph.D. (člen)
Ing. Filip Orság, Ph.D. (člen)
doc. Ing. Michal Španěl, Ph.D. (člen)

Slečna Držíková se dokázala velmi dobře zorientovat v problematice a zrealizovat všechny potřebné kroky - připravila dataset, tzv. baseline metodu pro porovnání, své řešení postavila na existujících modelech neuronových sítí, které trénovala na vlastním datasetu, a oba přístupy porovnala. Určitě by šlo jednotlivé části zpracovat lépe, ovšem s ohledem na obtížnost tématu to považuji za velmi dobrý výsledek bakalářské práce. Škoda závěrečného spěchu při vypracování zprávy.

Kritérium hodnocení Slovní hodnocení
Informace k zadání

Zadání je obtížnější. Vyžadovalo nastudovat netriviální metody hlubokého učení vhodné pro danou úlohu, ale také tradiční metody pro zarovnání obrazků pro vzájemné porovnání. Obojí bez předchozích znalostí a zkušeností neboť jsou nad rámec bakalářského studia. Jako problematická se ukázala i dostupnost vhodných trénovacích a validačních dat. Firma pro testování poskytla pouze dva ukázkové datasety z elektronového mikroskopu. Studentka se musela pokusit vytvořit dataset vlastní s vhodnými typy augmentací a anotací pro porovnání metod.

Požadované body zadání byly splněny a výsledkem práce je základní porovnání relativně nových metod SuperPoint a SuperGlue s tradiční metodou založenou na SIFT klíčových bodech.

Práce s literaturou

Potřebnou literaturu studentka sama vyhledala a nastudovala. Část tvořily vědecké články publikované v posledních několika letech.

Aktivita během řešení, konzultace, komunikace

Konzultace byly pravidelné. Studentka k řešení přistupovala aktivně a průběžně prezentovala dílčí pokroky a navrhovala další postup.

Aktivita při dokončování

Praktická realizace probíhala průběžně, ale finální podoba technické zprávy mi byla předložena pozdě a nestihl jsem se k ní včas vyjádřit.

Publikační činnost, ocenění

Není známa.

Výsledný počet bodů navržený vedoucím: 80

Známka navržená vedoucím: B

Posudek oponenta
Ing. Marek Vaško

Student shows her understanding of topic even with some unique approaches. This includes designing her own neural network for key-point detection and for homography predictions. Given previous findings I suggest B. 

Kritérium hodnocení Slovní hodnocení Body
Náročnost zadání

Stupeň hodnocení: obtížnější zadání

The content of the thesis goes beyond the knowledge acquired in the bachelor's study program. The student explored the possibilities of image stitching using neural networks. This area is not covered by the study programme and makes the assignment more difficult.

Rozsah splnění požadavků zadání

Stupeň hodnocení: zadání splněno

Rozsah technické zprávy

Stupeň hodnocení: je v obvyklém rozmezí

The thesis is of usual length. However, section 2.3 goes into unnecessary details and is too long.

Prezentační úroveň technické zprávy

The thesis is logically divided and goes firstly into theoretical basis of image stitching. Later chapters then transition into used data-sets and proposed solution, ending with achieved results. Though microscopic image stitching is what makes this thesis unique, it is only mentioned briefly in the introduction and then three chapters later in proposed solution.

85
Formální úprava technické zprávy

The thesis lacks finishing touches, which can be seen in some incorrect references to images (e.g. Section 2.2 and reference to Figure 2.9b) and images with copy-pasted captions (e.g. Figure 3.1 and 3.2). Some chapters are missing introductory text. The language is with some minor mistakes.

65
Práce s literaturou

The thesis cites a total of 30 literary sources that are relevant to the task at hand. However, when working with them, it often happens that references to the same source are repeated, even every other sentence.

85
Realizační výstup

The uploaded source codes are documented but they lack instructions on how to train individual neural networks. From the point of of  experiments, several methods were tried and their comparison was suitably shown.

85
Využitelnost výsledků

The achieved results can be used in practical applications of electron microscopy.

Otázky k obhajobě:
  1. What was the motivation to create your own neural network architecture for key-point detection instead of using architecture from SuperPoint?
  2. How well did neural network for homography prediction perform?
Výsledný počet bodů navržený oponentem: 83

Známka navržená oponentem: B

Odpovědnost: Mgr. et Mgr. Hana Odstrčilová