Bachelor's Thesis

Deep Learning for Image Stitching

Final Thesis 5.49 MB Appendix 1.45 MB

Author of thesis: Bc. Diana Maxima Držíková

Acad. year: 2022/2023

Supervisor: doc. Ing. Michal Španěl, Ph.D.

Reviewer: Ing. Marek Vaško

Abstract:

Stitching digital images is not something unfamiliar to the average technology user. The most common example of stitching can be found in panoramic images, where the algorithm stitches them to achieve a seamless, high-quality picture. Various steps need to be executed to stitch the images. Feature detection, description, and matching play the most important role in achieving the goal. This thesis will dwell deeper into the stitching problematic and will discuss the possible solutions. The traditional approaches to stitching will be explained in order to understand the basic idea behind it. Later on, the neural networks will be used to enhance the feature processing. The SuperPoint and SuperGlue neural networks will be discussed and used for their experiments. The main product of this work is a matching algorithm which uses the SuperPoint and SuperGlue models to stitch the images from grids. Other experiments which helped the process of understanding this problem, will be explained and evaluated.

Keywords:

deep learning, deep neural networks, convolutional neural networks, image stitching, methods of image stitching, graph neural networks, SuperPoint, SuperGlue, SIFT, homography estimation

Date of defence

13.06.2023

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. What was the motivation to create your own neural network architecture for key-point detection instead of using architecture from SuperPoint?
  2. How well did neural network for homography prediction perform?
  3. How large were used datasets?

Language of thesis

English

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

prof. Ing. Martin Čadík, Ph.D. (předseda)
doc. Ing. Zdeněk Vašíček, Ph.D. (člen)
Ing. Šárka Květoňová, Ph.D. (člen)
Ing. Filip Orság, Ph.D. (člen)
doc. Ing. Michal Španěl, Ph.D. (člen)

Supervisor’s report
doc. Ing. Michal Španěl, Ph.D.

Slečna Držíková se dokázala velmi dobře zorientovat v problematice a zrealizovat všechny potřebné kroky - připravila dataset, tzv. baseline metodu pro porovnání, své řešení postavila na existujících modelech neuronových sítí, které trénovala na vlastním datasetu, a oba přístupy porovnala. Určitě by šlo jednotlivé části zpracovat lépe, ovšem s ohledem na obtížnost tématu to považuji za velmi dobrý výsledek bakalářské práce. Škoda závěrečného spěchu při vypracování zprávy.

Evaluation criteria Verbal classification
Informace k zadání

Zadání je obtížnější. Vyžadovalo nastudovat netriviální metody hlubokého učení vhodné pro danou úlohu, ale také tradiční metody pro zarovnání obrazků pro vzájemné porovnání. Obojí bez předchozích znalostí a zkušeností neboť jsou nad rámec bakalářského studia. Jako problematická se ukázala i dostupnost vhodných trénovacích a validačních dat. Firma pro testování poskytla pouze dva ukázkové datasety z elektronového mikroskopu. Studentka se musela pokusit vytvořit dataset vlastní s vhodnými typy augmentací a anotací pro porovnání metod.

Požadované body zadání byly splněny a výsledkem práce je základní porovnání relativně nových metod SuperPoint a SuperGlue s tradiční metodou založenou na SIFT klíčových bodech.

Práce s literaturou

Potřebnou literaturu studentka sama vyhledala a nastudovala. Část tvořily vědecké články publikované v posledních několika letech.

Aktivita během řešení, konzultace, komunikace

Konzultace byly pravidelné. Studentka k řešení přistupovala aktivně a průběžně prezentovala dílčí pokroky a navrhovala další postup.

Aktivita při dokončování

Praktická realizace probíhala průběžně, ale finální podoba technické zprávy mi byla předložena pozdě a nestihl jsem se k ní včas vyjádřit.

Publikační činnost, ocenění

Není známa.

Points proposed by supervisor: 80

Grade proposed by supervisor: B

Reviewer’s report
Ing. Marek Vaško

Student shows her understanding of topic even with some unique approaches. This includes designing her own neural network for key-point detection and for homography predictions. Given previous findings I suggest B. 

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: obtížnější zadání

The content of the thesis goes beyond the knowledge acquired in the bachelor's study program. The student explored the possibilities of image stitching using neural networks. This area is not covered by the study programme and makes the assignment more difficult.

Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

The thesis is of usual length. However, section 2.3 goes into unnecessary details and is too long.

Prezentační úroveň technické zprávy

The thesis is logically divided and goes firstly into theoretical basis of image stitching. Later chapters then transition into used data-sets and proposed solution, ending with achieved results. Though microscopic image stitching is what makes this thesis unique, it is only mentioned briefly in the introduction and then three chapters later in proposed solution.

85
Formální úprava technické zprávy

The thesis lacks finishing touches, which can be seen in some incorrect references to images (e.g. Section 2.2 and reference to Figure 2.9b) and images with copy-pasted captions (e.g. Figure 3.1 and 3.2). Some chapters are missing introductory text. The language is with some minor mistakes.

65
Práce s literaturou

The thesis cites a total of 30 literary sources that are relevant to the task at hand. However, when working with them, it often happens that references to the same source are repeated, even every other sentence.

85
Realizační výstup

The uploaded source codes are documented but they lack instructions on how to train individual neural networks. From the point of of  experiments, several methods were tried and their comparison was suitably shown.

85
Využitelnost výsledků

The achieved results can be used in practical applications of electron microscopy.

Topics for thesis defence:
  1. What was the motivation to create your own neural network architecture for key-point detection instead of using architecture from SuperPoint?
  2. How well did neural network for homography prediction perform?
Points proposed by reviewer: 83

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová