Master's Thesis

Multi-Detector Scanning Electron Microscopy Image Fusion

Final Thesis 19.77 MB

Author of thesis: Ing. Marek Konečný

Acad. year: 2025/2026

Supervisor: prof. Ing. Martin Čadík, Ph.D.

Reviewer: Ing. Marek Vaško

Abstract:

Modern Scanning Electron Microscopes (SEM) are equipped with multiple detectors that simultaneously provide distinct modalities for observing the intrinsic electron signal components. While their combined use enables finer specimen analysis, each detector also introduces residual signal components, such as shot noise and other imaging artifacts. This motivates multimodal image fusion, which aims to combine informative signal components while suppressing unwanted artifacts. This work adapts and evaluates several image fusion methods, utilizing both objective quality metrics and subjective assessment. Methods operating in both the spatial and gradient domains, as well as machine learning-based techniques, are covered. The main contribution is a novel fusion method based on intrinsic signal decomposition using a convolutional encoder-renderer neural network trained in a predominantly self-supervised manner. When configured to strictly denoise the input channels during reconstruction, the trained architecture achieves a mean PSNR gain of up to approximately 15 dB in low-quality imaging scenarios.

Keywords:

Image Fusion, Scanning Electron Microscopy (SEM), Image Processing, Image Restoration, Intrinsic Image Decomposition, Deep Learning, Neural Networks, Encoder, Differentiable Renderer, Subjective Trials

Date of defence

24.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. V návrhu metódy píšete, že enkóder mení priestorový rozmer obrázku. Skúšali ste aj to, či hypotéza, ktorú prezentujete ako príčinu rozhodnutia, platí? Teda, či štandardný backbone s downscale a rozšírením kanálov reálne zhoršuje kvalitu?
  2. Ako dobre funguje hlava pre reziduály vysokých frekvencií bez pridania pôvodného obrázka?
  3. Ako vzniklo rozdelenie predtrénovania do troch fáz? Ako ste získali počty krokov, ktoré jednotlivé fázy ohraničujú?
  4. Co je na vodorovné ose a svislé ose na některých grafech v prezentaci? Můžete grafy nějak popsat?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Computer Vision (NVIZ)

Composition of Committee

prof. Ing. Adam Herout, Ph.D. (předseda)
prof. Ing. Martin Čadík, Ph.D. (místopředseda)
doc. RNDr. Milan Češka, Ph.D. (člen)
prof. Dr. Ing. Pavel Zemčík, dr. h. c. (člen)
Ing. David Bařina, Ph.D. (člen)
Ing. Tomáš Milet, Ph.D. (člen)

Supervisor’s report
prof. Ing. Martin Čadík, Ph.D.

Předloženou diplomovou práci považuji za velmi kvalitní. Student navrhl a implementoval novou metodu pro fúzi obrazů z různých detektorů skenovacího elektronového mikroskopu. Navrženou metodu pečlivě vyhodnotil, a to i percepčním experimentem. Výsledky práce byly oceněny odbornou komisí na studentské konferenci a mohly by tvořit základ samostatné vědecké publikace. 

Evaluation criteria Verbal classification
Informace k zadání

Zadání této diplomové práce považuji za náročnější. Pro úspěšné řešení musel student pochopit problematiku skenovací elektronové mikroskopie, zpracování obrazu, metody strojového učení, metriky pro automatické hodnocení kvality obrazu i uživatelské experimenty. Zadání student splnil velmi kvalitně a s výsledky práce jsem spokojen. 

Aktivita při dokončování

Práce byla dokončena v řádném termínu a její obsah byl konzultován s vedoucím práce. 

Publikační činnost, ocenění

Výsledky práce byly prezentovány na studentské konferenci EXCEL@FIT, kde práce získala cenu odborné komise. 

Práce s literaturou

Student pracoval s literaturou dodanou vedoucím práce a sám si velmi aktivně dohledával další relevantní zdroje. 

Aktivita během řešení, konzultace, komunikace

Student pracoval velice samostatně, v obou semestrech byl, až na drobné výpadky, aktivní, dohodnuté termíny dodržoval a na konzultace přicházel svědomitě připraven. 

Points proposed by supervisor: 95

Grade proposed by supervisor: A

Reviewer’s report
Ing. Marek Vaško

Celkovo prácu hodnotím veľmi dobre. Autor prezentuje dobrý prehľad literatúry, na ktorom stavia návrh vlastnej metódy na fúziu snímok z rôznych senzorov elektrónového mikroskopu.


Metóda je testovaná používateľským testom a z tohto pohľadu je dobre vyhodnotená. Prezentované výsledky sú dobre spracované a vyhodnotené.


Aj napriek menším nedostatkom navrhujem pre finálne hodnotenie známku A.

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno a práce obsahuje podstatná rozšíření

Zo základného riešenia, ktoré bolo možné implementovať na základe heuristík a klasických metód počítačového videnia, autor spravil pokročilú prácu, ktorá sa zaoberá komplexnými metódami. Príkladom toho je navrhnutý systém využívajúci derivovateľný rendering na tréning siete na predikciu zložiek, ktoré do rendrovania vstupujú.

Autor teda značne rozšíril toto zadanie a prezentoval aj ablačné výsledky nad rámec pôvodného rozsahu.

Rozsah technické zprávy

Evaluation level: přesahuje obvyklé rozmezí

Práca má celkovo približne 90 strán. Úvod do elektrónovej mikroskopie je pomerne objemný. Často sa však autor aj na túto sekciu odkazuje v nasledujúcich častiach práce. Celkovo by som zhodnotil, že práca je mierne nad obvyklým rozmedzím, ale v nej nie je nič významne zbytočné. 

Prezentační úroveň technické zprávy

Práca je písaná dobrou angličtinou a všetky sekcie na seba nadväzujú tak, ako majú. Zároveň má autor veľmi dobrý prezentačný štýl a informácie podáva jasne, zrozumiteľne. Taktiež odceňujem jednotnú a logicky štruktúrovanú matematickú notáciu. Je to celkovo prehľadné, vzhľadom na naturu práce je to z môjho pohľadu veľmi dobré.

95
Formální úprava technické zprávy

Osobne som nevedel nájsť žiadnu formálnu chybu ani nedostatok z pohľadu tipografie a jazyka. Veľmi dobre hodnotím vzájomné odkazy v práci. Oveľa ľahšie sa dajú dohľadať informácie a v práci sa tým dobre orientuje.

95
Práce s literaturou

Práca má 57 citácií.

Celkovo môžem len zhodnotiť, že autor s nimi pracuje veľmi dobre. Vždy pri citovaní jasne oddeľuje externé myšlinky od svojho prínosu. Zároveň hodnotím aj dobré vkladanie citácií do textu. Text vždy nasleduje myšlienky, za ktorými je hneď odkaz na referenciu.

Z pohľadu kvality zdrojov, ktoré viem zhodnotiť, sú veľmi kvalitné.

Z pohľadu počítačového videnia sú veľmi kvalitné, dobré konferencie a uznávané publikácie v tomto priemysle.

Z pohľadu elektrónovej mikroskopie ich neviem zhodnotiť.

95
Realizační výstup

Realizačný výstup hodnotím veľmi dobre. Menšia výtka je v tom, že autor neposkytuje ablačnú štúdiu ani náznak toho, ako prebiehal výber niektorých hyperparametrov a celkovej architektúry prezentovanej siete.

Celkovo pozitívne hodnotím prezentovanú štúdiu na používateľoch aj zhodnotenie jej výsledkov.

Z pohľadu zdrojového kódu je výstup kvalitný a dobre sa v ňom orientuje.

85
Využitelnost výsledků

Z prevedenej štúdie sa zdá, že navrhnutá metóda je pre určitú skupinu respondentov hodnotená výrazne lepšie ako iné formy spracovania zašumeného obrazu z elektrónového mikroskopu. Z tohto pohľadu vidím potenciál vo využití navrhnutej metódy.

Jeden z výsledkov je aj jednoduchá aplikácia na A/B porovnanie výstupov, ktorá môže byť využitá aj pri iných podobných testoch.

Celkovo by som navrhnutú metódu hodnotil ako zaujímavý prínos a má potenciál na publikáciu.

Náročnost zadání

Evaluation level: obtížnější zadání

V základnom riešení je zadanie priemerne zložité, avšak prezentované výsledky predpokladajú pokročilé znalosti v oblasti počítačového videnia. Z tohto pohľadu považujem zadanie za obtiažnejšie.

Topics for thesis defence:
  1. V návrhu metódy píšete, že enkóder mení priestorový rozmer obrázku. Skúšali ste aj to, či hypotéza, ktorú prezentujete ako príčinu rozhodnutia, platí? Teda, či štandardný backbone s downscale a rozšírením kanálov reálne zhoršuje kvalitu?
  2. Ako dobre funguje hlava pre reziduály vysokých frekvencií bez pridania pôvodného obrázka?
  3. Ako vzniklo rozdelenie predtrénovania do troch fáz? Ako ste získali počty krokov, ktoré jednotlivé fázy ohraničujú?
Points proposed by reviewer: 92

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová