Master's Thesis

3D model from a image stack taken with a fluorescence microscope

Author of thesis: Ing. David Vlasák

Acad. year: 2023/2024

Supervisor: prof. Ing. Martin Čadík, Ph.D.

Reviewer: Ing. Milan Munzar

Abstract:

This thesis deals with the 3D reconstruction of data taken by a fluorescence microscope and the transformation of the reconstructed 3D model into the position of the image taken by the ion beam. The thesis aims to create a web application that allows the user to view the biological 3D data of the sample. Such data will make it easier and more accurate for the user to select an area of interest for further investigation and processing of the biological sample. In this work, methods of depth estimation from focal stacks are studied. Selected methods are then experimented with on microscope images. Furthermore, a method for rendering volumetric data from focal stacks is proposed. The selected method is used to reconstruct 3D models, which are then transformed into an ion view. The exact transformation uses homography estimation. Homography uses points found using the template matching technique. These methods are used in the resulting web application, which has been tested on real data.

Keywords:

CLEM, Fluorescence microscopy, Ion microscopy, Depth from Focus, Depth from Defocus, Volume rendering, Transformation matrix, Homography, Point detection, Template matching, three.js, OpenCV

Date of defence

19.06.2024

Date of publish

19.06.2027

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. Z kolika mikroskopů vytváříte model?
  2. Co značí bílé skvrny na snímku?

Language of thesis

Czech

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Software Engineering (NSEN)

Composition of Committee

doc. Ing. Ondřej Ryšavý, Ph.D. (předseda)
doc. RNDr. Jitka Kreslíková, CSc. (člen)
doc. Ing. Vladimír Janoušek, Ph.D. (člen)
Ing. Vladimír Bartík, Ph.D. (člen)
Ing. Šárka Květoňová, Ph.D. (člen)
Ing. Radek Hranický, Ph.D. (člen)

Supervisor’s report
prof. Ing. Martin Čadík, Ph.D.

Celkově považuji práci Davida Vlasáka za nadprůměrnou. Student vytvořil nástroj pro vizualizaci dat z fluorescenčního a elektronového mikroskopu, experimentoval s metodami rekonstrukce 3D tělesa ze sekvence různě zaostřených snímků i s možnostmi zarovnání obrazů z fluorescenčního a elektronového mikroskopu. Implementovaný systém může být dále rozšiřován a věřím, že najde praktické uplatnění ve výrobcích firmy Thermo Fisher Scientific.

Evaluation criteria Verbal classification
Informace k zadání

Zadání práce považuji za mírně náročnější, neboť vedle pochopení základních principů počítačového vidění a grafiky vyžaduje také nastudování témat elektronové a fluorescenční mikroskopie. S dosaženými výsledky jsem spokojen.

Aktivita při dokončování

Práce byla dokončena v mírném předstihu a její obsah byl konzultován s vedoucím práce.

Publikační činnost, ocenění
Práce s literaturou

Student pracoval s literaturou dodanou vedoucím práce a sám si též vyhledával další zdroje.

Aktivita během řešení, konzultace, komunikace

Student byl v prvním semestru průměrně aktivní, v druhém semestru byl aktivní nadprůměrně. Na konzultace byl připraven a dohodnuté termíny dodržoval včetně pravidelných hlášení o postupu prací.

Points proposed by supervisor: 86

Grade proposed by supervisor: B

Reviewer’s report
Ing. Milan Munzar

Řešiteli se povedlo vyzkoušet značné množství metod a vytvořit z nich aplikaci, která má potenciál pro nasazení v provozu. Textová část je také kvalitní.

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Prezentační úroveň technické zprávy

Řešitel odvedl výbornou práci, která je dobře prezentována. Mám jen dvě připomínky:

  • Obrázek 3.13 příliš nevypovídá o funkčnosti sítě. Například má stejný tyrkysový rámeček jako na příkladů nefungujících. To může být nevhodnou vizualizací, ale bylo by dobré přidat více příkladů.

  • Při porovnání dob trvání vytvoření modelu se zdá, že výsledek je dán spíše vlastnostmi vstupních dat. Implementace naznačuje, že rychlejší metoda dělá více práce. Je pravděpodobné, že použitím akcelerovaný maticových operací by doba běhu byla podobná.
85
Formální úprava technické zprávy

Po formální stránce je textová dokumentace kvalitní a téměř bez chyb.

85
Práce s literaturou

Řešitel cituje dostatek zajímavých a relevantních zdrojů.

85
Realizační výstup

Výstupem je povedená aplikace, typu klient-server. Klientskou část tvoří grafické okno, které dovoluje načítání a zarovnání modelů. Serverová část implementuje navržené metody pro rekonstrukci modelů. V kódu jsou vhodně použity zaběhnuté návrhové vzory a je čitelný. Klient-server architektura je spíše nevýhodou kvůli nutnosti přenosu modelů, ale řešitel musel použít WebGL.

85
Využitelnost výsledků

Výsledný prototyp je na dobré cestě aby usnadnil práci operátorům mikroskopů.

Náročnost zadání

Evaluation level: obtížnější zadání

Zadání hodnotím jako složitější kvůli množství nastudovaných a ozkoušených metod z oblasti odhadu hloubky a zarovnání obrazů. Dále bylo nutné navrhnout nové metody pro rekonstrukci 3D modelů z mikroskopových snímků.

Points proposed by reviewer: 88

Grade proposed by reviewer: B

Reasons for publication postponement

Publication of the final thesis has been postponed in compliance with the provisions of Section 47b (4) of Act No. 111/1998 Coll., on the Higher Education Institutions and on amendments and supplements to other acts, as amended.

Responsibility: Mgr. et Mgr. Hana Odstrčilová