Bachelor's Thesis

Interactive Image Segmentation using Deep Learning and Foundation Models

Final Thesis 6.19 MB Appendix 16.98 MB

Author of thesis: Bc. Jiří Charamza

Acad. year: 2025/2026

Supervisor: doc. Ing. Michal Španěl, Ph.D.

Reviewer: Ing. Marek Vaško

Abstract:

Annotating data for image segmentation is a time-consuming task, especially for long video sequences composed of a large number of frames. This thesis presents a semi-automatic annotation system built on the open-source Label Studio platform that uses pre-trained deep learning models for interactive image segmentation and mask propagation between frames. The annotator marks an object with a keypoint or bounding box, SAM2 generates a mask for the object, and this mask is propagated to subsequent frames as an editable annotation. Four propagation methods were implemented: propagation using SAM2 logits, optical flow with the RAFT model, the Cutie video segmentation model, and the SAM2 video predictor. The system supports sequential and batch propagation over a specified number of frames and extends the Label Studio UI with custom control elements. Evaluation on sixteen laparoscopic sequences from the CholecInstanceSeg dataset showed that the SAM2 video predictor and Cutie achieve an average mIoU of around 0.9 and remain stable across different sampling densities, while optical flow and logit-based propagation are not suitable for longer sequences.

Keywords:

interactive segmentation, image segmentation, video object segmentation, mask propagation, Segment Anything Model 2, SAM2, Cutie, RAFT, optical flow, annotation tools, Label Studio, CholecInstanceSeg

Date of defence

16.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Čo je primárna zábrana pri priamej integrácii prístupu s LabelStudio videomodalitami?
  2. Akým štýlom je riešená korespondencia inštancií naprieč snímkami v rámci LabelStudia?
  3. Je možné pridávať dáta vrátené modelom do predictions namiesto annotations v LabelStudiu? Prečo je lepšie využívať annotations, prípadne, ak to nie je možné, pridávať ich do predictions?
  4. Je implementácia taskov ako videí skôr hack, alebo je možné ich publikovať ako rozšírenia LabelStudia?
  5. Bolo by možné simulovať SAM2 logity ako vstupy pre propagáciu pomocou SAM2? Ak áno, tak ako?

Language of thesis

Czech

Faculty

Fakulta informačních technologií

Department

Department of Computer Graphics and Multimedia

Study programme

Information Technology (BIT)

Composition of Committee

doc. Ing. Lukáš Burget, Ph.D. (předseda)
doc. Mgr. Adam Rogalewicz, Ph.D. (místopředseda)
Ing. Libor Polčák, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Martin Žádník, Ph.D. (člen)

Supervisor’s report
doc. Ing. Michal Španěl, Ph.D.

Pan Charamza realizoval užitečné rozšíření nástroje LabelStudio. Sám přicházel s návrhy různých způsobů propagace segmentace, a také si velmi dobře poradil s návrhem technického řešení a jeho realizací v prostředí ne příliš dobře dokumentovaného open source nástroje.

Evaluation criteria Verbal classification
Information about assignment

Student se v bakalářské práci rozhodl vytvořit nástroj pro efektivní anotaci video sekvencí. Hlavním cílem bylo rozšířit funkcionalitu existujícího nástroje LabelStudio o podporu propagace segmentace objektů do následujících snímků videa. Experimentoval s různými způsoby propagace počínaje interaktivním segmentačním modelem SAM2 nebo s využitím odhadu optického toku modelem RAFT. Jednalo se tedy spíše o integraci vhodných modelů neuronových sítí do praktického nástroje. Zadání bylo splněno a s výsledkem jsem velmi spokojený. Rozšíření LabelStudia plánujeme využít při anotacích video sekvencí pro tvorbu výzkumných datových sad.
Work with literature

Základní studijní materiály byly doporučeny vedoucím. Dále student pracoval zcela samostatně, vyhledal další literaturu a metody, které nastudoval a experimentoval s jejich využitím a integrací.
Activity during solution, consultations, communication

Student pravidelně konzultoval stav řešení na počátku práce a následně ve fázi dokončování. V mezidobí se řešení věnoval samostatně. Návrh nástroje konzultoval i s potenciálním uživatelem (výzkumníkem na FIT VUT), který mu pomohl definovat funkční požadavky.
Activity during completion

Práce byla dokončena v dostatečném předstihu. Také podoba technické zprávy byla přiměřeně konzultována.
Publication activity, awards

Není známa.
Points proposed by supervisor: 87

Grade proposed by supervisor: B

Reviewer’s report
Ing. Marek Vaško

Celkovo prácu hodnotím veľmi dobre. Cez štruktúru, delenie, prezentáciu výsledkov a predvedenú implementáciu je práca veľmi dobrá.


Mierne nedostatky nemajú veľký vplyv na konečné hodnotenie.


Navrhujem známku A.

Evaluation criteria Verbal classification Points
The difficulty of the assignment

Evaluation level: more difficult assignment

Zadanie vyžaduje hlboké znalosti naprieč viacerými technickými oblasťami: počítačové videnie a moderné foundation modely, ktoré presahujú rozsah bakalárskeho štúdia. Preto zadanie hodnotím ako obtiažnejšie.
Presentation level of the technical report

Prezentačná úroveň naprieč celou prácou je veľmi dobrá. Kapitoly idú v chronologicky logickom poradí za sebou. Všetky informácie sú jasne prepojené a celkovo sa v práci dobre orientuje. Sekcie sú prehľadné.

 95
Formal preparation of a technical report

Podobne ako pri prezentačnej úrovni, ani tu nie je veľa, čo vytknúť. Typograficky je práca spracovaná veľmi dobre.

Autor často využíva prehľadové tabulky na parametre, čo hodnotím veľmi pozitívne.

Zároveň  má práca veľmi pekne spracované grafy a vizualizácie.

Mierna výhrada je k pridaniu tabuľky obrázkov na začiatku, kde niektoré obrázky majú extrémne dlhé popisy, avšak na celkové hodnotenie práce to nemá vplyv.

 95
Realisation output

Práca v hlavnom bode rieši pomerne zaujímavý technický challenge, a to je integrácia kvázi videosegmentácie do čisto obrázkových úloh v LabelStudiu. Autor potreboval implementovať viacero zmien priamo do zdrojového kódu tejto aplikácie, čo je dobre popísané v kóde aj v práci.

Zároveň autor implementoval viacero metód na propagáciu masiek priamo do ML backendu v LabelStudiu.

Veľmi pozitívne hodnotím experimenty vykonané pomocou rôznych propagačných metód a ablácie voči miere vzorkovania. Všetky sú hodnotené aj počtom propagovaných snímok od inicializácie a výsledky sú jasne prezentované.

Mierny nedostatok experimentov je: SAM2 je pri testoch inicializovaný odlišne od zvyšných metód. SAM2 využíva používateľom vybraný bod, kde zvyšné metódy majú iniciálny stav plnej referenčnej masky. Porovnanie s modelom SAM2 je teda vždy pod inými podmienkami.

 85
Usability of results

Celkovo sú výsledky dobre prezentované a uchopiteľné aj pre praktickú implementáciu. Publikačné výsledky nie sú známe, zároveň nie je jasné, či by išlo modifikácie v LabelStudiu aplikovať aj pre širšiu adaptáciu.
The extent to which the requirements of the assignment have been met

Evaluation level: assignment fulfilled

Bez výhrad je zadanie splnené v plnej miere. Zároveň sa zdá, že bod 3. v práci je výrazne rozšírený.
Extent of the technical report

Evaluation level: is within the usual extent

Rozsah jednotlivých kapitol je vyvážený a text neobsahuje zjavné výplňové pasáže ani, naopak, neodôvodnené vynechanie relevantných tém. 
Work with literature

Študent pracoval s relevantnou a aktuálnou literatúrou, ktorá pokrýva všetky kľúčové oblasti práce.

Študent pracuje s citáciami korektne a použité zdroje sú celkovo kvalitné.

Celkovo veľmi pozitívne hodnotím stručné využívanie referencií bez rozpisovania zbytočných detailov.

 95
Topics for thesis defence:
  1. Akým štýlom je riešená korespondencia inštancií naprieč snímkami v rámci LabelStudia?
  2. Je implementácia taskov ako videí skôr hack, alebo je možné ich publikovať ako rozšírenia LabelStudia?
  3. Bolo by možné simulovať SAM2 logity ako vstupy pre propagáciu pomocou SAM2? Ak áno, tak ako?
  4. Čo je primárna zábrana pri priamej integrácii prístupu s LabelStudio videomodalitami?
  5. Je možné pridávať dáta vrátené modelom do predictions namiesto annotations v LabelStudiu? Prečo je lepšie využívať annotations, prípadne, ak to nie je možné, pridávať ich do predictions?
Points proposed by reviewer: 95

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová