Bachelor's Thesis

Microscope eyepiece with integrated screen used for augmented reality

Final Thesis 12.35 MB Appendix 21.92 kB

Author of thesis: Bc. Jan Sebastian Hemzal

Acad. year: 2024/2025

Supervisor: Ing. Václav Šulc, Ph.D.

Reviewer: Ing. Zbyněk Dostál, Ph.D.

Abstract:

The thesis consists of an exploration of digital image processing with regard to the time complexity of operations. It compares conceptual approaches of binocular microscopes and implements a camera with a monitor into their optical path to enhance the observed reality. It also explains the principles of how CCD and CMOS sensors work. The task is to assemble and activate a functional parallel stereomicroscope with augmented reality that responds in real time. Particular attention is given to specific requirements for image enhancement provided by doctors. The individual components that make up the microscope system with image augmentation are described. Edge localization, utilizing information from multiple color channels, is implemented. Additionally, fluorescence highlighting is tested on sample specimens. To accelerate computation time, the thesis also focuses on shifting image processing tasks to the graphics unit of the computer used. Finally, an analysis of the factors contributing to the overall latency of the image overlay is also conducted.

Keywords:

Parallel stereo microscope, digital image processing, augmented reality, edge detection, fluorescence

Date of defence

12.06.2025

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Po otázkách oponenta bylo dále diskutováno: Köhlerovo osvětlení Použité datové typy Výhody a nevýhody použité kamery Paralelizace procesů na GPU a použití filtrů Student na otázky odpověděl.

Language of thesis

Czech

Faculty

Department

Study programme

Fundamentals of Mechanical Engineering (B-ZSI-P)

Specialization

Fundamentals of Mechanical Engineering (STI)

Composition of Committee

prof. RNDr. Tomáš Šikola, CSc. (předseda)
prof. RNDr. Jiří Spousta, Ph.D. (místopředseda)
prof. RNDr. Petr Dub, CSc. (člen)
prof. RNDr. Radim Chmelík, Ph.D. (člen)
doc. Ing. Radek Kalousek, Ph.D. (člen)
prof. Ing. Miroslav Kolíbal, Ph.D. (člen)
doc. Mgr. Vlastimil Křápek, Ph.D. (člen)
prof. Mgr. Miroslav Černý, Ph.D. (člen)
doc. Ing. Petr Bábor, Ph.D. (člen)
doc. Ing. Jindřich Mach, Ph.D. (člen)
doc. Ing. Miroslav Bartošík, Ph.D. (člen)
doc. Ing. Stanislav Průša, Ph.D. (člen)
doc. Ing. Jakub Zlámal, Ph.D. (člen)

Supervisor’s report
Ing. Václav Šulc, Ph.D.

Práce se zabývá převážně záznamem, zpracováním a následným zobrazením dat získaných na vznikajícím prototypu stereomikroskopu pro použití v dentální chirurgii.

Rešeršní část se proto zabývá optickou a konstrukční části vhodného typu mikroskopu pouze popisně. Více se autor věnuje technologii záznamu obrazu pomocí digitálních kamer, popisu a rešerši používaných typů a reprezentaci digitálního záznamu pro následné zpracování obrazu numerickými metodami.

Zpracování dat obrazu je stěžejní částí této práce. Z toho důvodu jsou popsány a teoreticky rozebrány metody zpracování obrazu za účelem zviditelnění detailů struktur a jejich hran. Dále jsou diskutovány možné aplikace zpracování obrazu a jeho zviditelnění pro využití v medicíně založené na spektrální analýze obrazu, konkrétně fluorescence ve stomatologii a sledování okysličení hemoglobinu v krvi.

Experimentální část této práce lze dále rozdělit na dvě část. V té první se autor věnuje popisu vybraných komponent (kamera, PC, monitor) pro záznam, zpracování obrazu a jeho následné zobrazení, které byly použity pro digitalizaci okuláru vyvíjeného stereomikroskopu. Poměrně komplexní úlohou bylo propojení zmíněných komponent a nastavení funkční komunikační linky mezi nimi. Zvládnutí této úlohy byla prokázána autorem znalost a orientace v problematice.

Druhá polovina experimentální část se zabývá aplikací metod zpracování obrazu, jež byly v rešeršní části práce popsány a diskutovány. Na testovacích vzorcích jsou demonstrovány výsledky získané pomocí metody detekce hran rozšířené o spektrální informaci z jednotlivých RGB kanálů použité barevné kamery a metody zviditelnění fluorescence. Důležitou částí práce je také kvantifikace a následná diskuse problematiky náročnosti jednotlivých metod na výpočetní výkon a související časovou náročnost, ale také časové zpoždění mezi obrazem se zpracovanými daty a obrazem aktuální scény, které se prostorově překrývají.

V závěru práce jsou zhodnoceny dosažené výsledky a diskutovány další návrhy pro jednotlivá dílčí zlepšení zpracovaného systému od výběru komponent až po uživatelské rozhraní.

Lze tak hodnotit, že tato práce splnila vytyčené cíle a úkol prototypní digitalizace okuláru vyvíjeného stereomikroskopu za účelem zobrazení zpracovaných obrazových dat. Autor na vypracování jednotlivých částí pracoval svědomitě a samostatně, jednotlivé problémy a úvahy při tvorbě byly včasně konzultovány a také prokázal dostatečné porozumění daného tématu.

Po formální stránce je práce logicky strukturovaná a jednotlivé části na sebe navazují, také je slohově ucelená a bez gramatických chyb. Hodnotím ji proto celkově známkou A.
Evaluation criteria Grade
Splnění požadavků a cílů zadání A
Postup a rozsah řešení, adekvátnost použitých metod A
Vlastní přínos a originalita A
Schopnost interpretovat dosažené výsledky a vyvozovat z nich závěry A
Využitelnost výsledků v praxi nebo teorii A
Logické uspořádání práce a formální náležitosti A
Grafická, stylistická úprava a pravopis A
Práce s literaturou včetně citací A
Samostatnost studenta při zpracování tématu A

Grade proposed by supervisor: A

Reviewer’s report
Ing. Zbyněk Dostál, Ph.D.

Bakalářská práce Jana Sebastiana Hemzala se zabývá integrací metod zpracování obrazu ze zubařského mikroskopu v reálném čase. Výsledkem je funkční prototyp okuláru s rozšířenou realitou. Práce je rozdělena do několika logických celků. Úvodní kapitoly se věnují popisu binokulárního stereomikroskopu a digitálních kamer. Dále je zpracována rešerše metod zpracování obrazu vhodných pro tuto aplikaci.

Autorův přínos je zřejmý především v částech, které se věnují výběru komponent pro stereomikroskop, zpracování dat a jejich implementaci do hardwaru. V závěru práce je analyzována celková časová latence – od pořízení snímku, přes jeho zpracování, až po projekci obrazu do okuláru pro uživatele mikroskopu.

Student odvedl výbornou práci. Správně pochopil požadavky na konstrukci okuláru i na typ a formu zobrazovaných dat. Navrhl úpravy optického uspořádání okuláru, vytvořil programy pro zpracování obrazu (např. detekci hran objektů a fluorescenčních signálů), které otestoval jak na procesoru, tak na grafické kartě. Výsledné latence porovnal a v závěru navrhl úpravy hardwaru (např. výměnu zobrazovací jednotky) za účelem jejich snížení.

Práce má i své nedostatky. Ocenil bych podrobnější komentáře ke kódu a celkově lepší stylistickou úroveň textu. Místy se vyskytují hůře formulované věty nebo gramatické chyby. Rovněž u vzorců často chybí odpovídající interpunkce.

Přes uvedené výhrady hodnotím práci velmi kladně. Student prokázal, že odvedl kvalitní práci, která má praktický přínos pro vývoj cílového zařízení. Práci hodnotím známkou výborně – A.
Evaluation criteria Grade
Splnění požadavků a cílů zadání A
Postup a rozsah řešení, adekvátnost použitých metod A
Vlastní přínos a originalita A
Schopnost interpretovat dosaž. výsledky a vyvozovat z nich závěry A
Využitelnost výsledků v praxi nebo teorii A
Logické uspořádání práce a formální náležitosti B
Grafická, stylistická úprava a pravopis B
Práce s literaturou včetně citací B
Topics for thesis defence:
  1. V práci uvádíte, že použitá kamera využívá snímač s Bayerovou maskou. Existují i jiné typy barevných filtrů nebo konstrukcí snímačů, které umožňují zaznamenávání barevných (RGB) obrazů? Mohl byste je stručně popsat a porovnat s Bayerovou maskou?
  2. V práci zmiňujete princip Köhlerova osvětlení. Mohl byste vysvětlit, jak tento způsob osvětlení funguje a jaké jsou jeho hlavní výhody při mikroskopickém zobrazování?
  3. Ve vaší práci zmiňujete plánované použití multispektrální kamery. Uvažujete, že přenos dat přes USB by mohl být kapacitně nedostatečný. Jaké další možnosti komunikačních rozhraní mezi kamerou a počítačem přicházejí v úvahu a jaké jsou jejich výhody a nevýhody?

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová