Bachelor's Thesis

Repairing Photogrammetric 3D Reconstruction Defects using Machine Learning

Final Thesis 5.74 MB Appendix 4.58 MB

Author of thesis: Bc. Matěj Křenek

Acad. year: 2025/2026

Supervisor: doc. Ing. Michal Španěl, Ph.D.

Reviewer: Ing. Tibor Kubík

Abstract:

This thesis addresses the analysis and automatic repair of geometric defects arising during photogrammetric reconstruction of 3D objects. Such defects typically manifest as noise, missing geometry, or spurious points and artifacts in point clouds. The work investigates the potential of deep learning methods for point cloud processing to automate the repair process, comparing architectures across a broad spectrum of approaches from classical encoderdecoder networks to transformer-based models. Specifically, the models PCN, PoinTr, and AdaPoinTr are evaluated for missing geometry completion, and PointCleanNet for noise and outlier removal. A synthetic dataset simulating typical photogrammetric reconstruction defects is constructed from the ShapeNetCore database of 3D objects. A patch-based approach for direct application of completion models to dense point clouds was also investigated but proved non-functional due to the architectural dependence of the models on a global object representation, and remains a topic for future work. Results are evaluated quantitatively using Chamfer Distance, Hausdorff Distance, and Density-Aware Chamfer Distance at the level of complete objects as well as through segmented evaluation distinguishing repaired and preserved regions. Based on the experiments, AdaPoinTr was identified as the most suitable approach for reconstructing missing geometry, achieving the lowest error in the repaired region while best preserving the existing geometry. The denoising pipeline based on PointCleanNet substantially reduces the presence of spurious points and noise in the input point cloud.

Keywords:

photogrammetry, 3D reconstruction, point clouds, 3D model defects, shape completion, point cloud denoising, synthetic data, deep learning, pretrained models, transformer models, DUSt3R, ShapeNet, patch-based pipeline

Date of defence

17.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Completion modely boli trénované primárne na dátach s chýbajúcimi časťami geometrie, zatiaľ čo šum, outliery a parazitná geometria sú riešené predchádzajúcimi krokmi denoising pipeline. Ako by sa completion modely správali v prípade, že by PointCleanNet zlyhal a na vstupe completion modelu by zostal šum a/alebo odľahlé body? Bolo by pre zvýšenie robustnosti vhodné trénovať completion modely aj na dátach kombinujúcich chýbajúcu geometriu so šumom a outliermi?
  2. Pre odšumovanie a odstránenie outlierov bol zvolený model PointCleanNet. Aké alternatívne metódy strojového učenia pre odšumovanie v mračných bodov ste zvažovali a prečo ste sa rozhodli práve pre tento model?
  3. V práci uvádzate, že completion modely dosahujú horšie výsledky po aplikácii denoising pipeline, pravdepodobne kvôli distribučnému posunu. Ako by bolo možné tento distribučný posun znížiť alebo kompenzovať pri trénovaní?
  4. Kdo definoval třídy chyb?

Language of thesis

Czech

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

prof. Ing. Martin Čadík, Ph.D. (předseda)
doc. Ing. Ondřej Ryšavý, Ph.D. (místopředseda)
Ing. Marcela Zachariášová, Ph.D. (člen)
Ing. Tomáš Goldmann, Ph.D. (člen)
Ing. Vojtěch Havlena, Ph.D. (člen)

Supervisor’s report
doc. Ing. Michal Španěl, Ph.D.

Pan Křenek se v bakalářské práci věnoval náročnějšímu tématu. Velmi dobře se zorientoval v modelech hlubokého učení pro doplnění 3D tvarů ve formě mračen bodů a vybral si hned několik modelů, které zapojil do svých experimentů v kontextu zadání. Výborná samostatná práce. Ve druhém semestru bych jako vedoucí přeci jen ocenil častější kontakt a lepší přehled o směrování práce i experimentů.

Evaluation criteria Verbal classification
Information about assignment

Zaměření zadání na opravování chyb vznikajících při fotogrammetrické rekonstrukci vzniklo po dohodě se studentem. Téma vyžaduje studium širokého množství literatury, zejména čerstvých vědeckých článků v oblasti generování 3D tvaru. Téma považuji za náročnější jak z pohledu studia, tak technické realizace. Práce se 3D modely, tvorba datových sad, augmentace dat, vizualizace, apod. jsou složitější než v případě obrazových dat. Zadání student velmi pěkně zpracoval, úroveň a rozsah překračují obvyklé bakalářské práce.

Work with literature

Student se musel zorientovat v principech Structure from Motion (SfM) a metod hlubokého učení pro generování a doplnění 3D tvaru. Zvládl to velmi dobře a vhodně zvolil modely, se kterými v práci experimentoval.

Activity during solution, consultations, communication

Pravidelné konzultace probíhaly zejména v prvním semestru, kdy student konzultoval důležitá rozhodnutí ohledně směrování práce. Dále pak pracoval zcela samostatně.

Activity during completion

Implementační část práce probíhala průběžně a byla dokončena s dostatečným časovým předstihem. Podoba technické zprávy byla konzultována a připomínky zapracovány.

Publication activity, awards

Není známa.

Points proposed by supervisor: 89

Grade proposed by supervisor: B

Reviewer’s report
Ing. Tibor Kubík

Študent preukázal schopnosť uchopiť mierne náročnejšiu úlohu spracovania 3D dát pomocou metód strojového učenia. Pripravil vlastnú pipeline pre tvorbu syntetického datasetu, natrénoval a porovnal viacero modelov pre dopĺňanie chýbajúcej geometrie a integroval ich s modelom pre odšumovanie a odstraňovanie odľahlých bodov.


Silnou stránkou práce je najmä experimentálna časť, ktorá systematicky hodnotí jednotlivé časti navrhnutej pipeline a diskutuje ich limity. Medzi slabšie stránky patrí obmedzený prehľad metód pre odšumovanie mračien bodov, nie vždy dostatočné odôvodnenie a popis návrhových rozhodnutí a skutočnosť, že použiteľnosť riešenia na reálnych fotogrammetrických dátach zostáva predmetom budúcej práce.


Napriek miernym nedostatkom hodnotím prácu ako veľmi dobre spracovanú, s kvalitným experimentálnym výstupom.


Evaluation criteria Verbal classification Points
The difficulty of the assignment

Evaluation level: more difficult assignment

Zadanie hodnotím ako mierne obtiažnejšie. Na jeho úspešné splnenie bolo potrebné pochopiť princípy fotogrammetrickej rekonštrukcie a bežné artefakty, ktoré sa v jej výstupoch vyskytujú. Následne bolo potrebné naštudovať metódy, ktoré tieto chyby odstraňujú pomocou strojového učenia. Samotné využitie metód strojového učenia na analýzu 3D dát je nad rámec bežných znalostí získaných počas bakalárskeho štúdia.

Presentation level of the technical report

Práca má celkovo kvalitnú štruktúru, je pochopiteľná a dobre sa číta. Medzi menšie výhrady patrí napríklad venovanie sa rôznym reprezentáciám 3D geometrie v samostatnej kapitole. V tomto type práce je určite vhodné oboznámiť sa aj s alternatívnymi formátmi, keďže sa však vo zvolených metódach pracuje výhradne s mračnami bodov, pôsobí táto časť trochu neprimerane rozsiahlo. Bolo by možné ju stručnejšie zhrnúť ako sekciu v inej časti práce.

Väčším nedostatkom je absencia širšieho prehľadu a popisu metód na odšumovanie mračien bodov. Nie je dostatočne zrejmé, prečo bol vo finálnom riešení zvolený práve PointCleanNet v porovnaní s inými metódami v literatúre, a popis alternatívnych metód založených na strojovom učení by prácu vhodne doplnil.

Zvyšné kapitoly sú spracované dobre, aj keď miestami chýbajú niektoré dôležité informácie. Ide napríklad o konkrétny počet patchov v patch pipeline, informáciu o tom, či sa body medzi patchmi prekrývajú, alebo rigoróznejšie vyhodnotenie samotnej patch pipeline. Výber metód (sekcia 5.3) opakuje informácie z teoretickej časti a mohla radšej prezentovať konkrétne detaily bez nutnosti čitateľa nahliadať do pôvodných článkov.

85
Formal preparation of a technical report

V práci som nenarazil na žiadne zásadné typografické ani jazykové nedostatky.

90
Realisation output

Výstupom práce je niekoľko Python skriptov umožňujúcich replikovať prezentované modely a experimenty uvedené v technickej správe. Súčasťou realizačného výstupu je aj pipeline pre prípravu syntetického datasetu, generovanie vybraných typov defektov v mračnách bodov, trénovanie zvolených modelov a ich následnú evaluáciu.

Hlavným výstupom práce sú samotné experimenty a vyhodnotenie celkovej pipeline. Tá prezentuje a diskutuje kaskádovo zapojené modely schopné riešiť hlavné artefakty vo fotogrammetrických 3D rekonštrukciách. Ide o existujúce architektúry bez zásadnejších zásahov. Patch-based prístup je najzaujímavejší z pohľadu potenciálneho prínosu, no chýba jeho ucelené vyhodnotenie.

88
Usability of results

Výsledky práce majú využiteľnosť najmä ako experimentálne vyhodnotenie možností využitia metód strojového učenia na opravu defektov vo fotogrammetrických 3D rekonštrukciách. Práca ukazuje, že kaskádové zapojenie modelov pre odstránenie šumu, odľahlých bodov a dopĺňanie chýbajúcej geometrie môže byť zmysluplným smerom pre ďalší vývoj podobných systémov.

The extent to which the requirements of the assignment have been met

Evaluation level: assignment fulfilled

Zadanie považujem za splnené. Študent si naštudoval metódy strojového učenia zamerané na bežne sa vyskytujúce artefakty vo fotogrammetrických rekonštrukciách, ako sú chýbajúce časti mračna bodov, prítomnosť odľahlých bodov alebo šum.

Pre vlastné experimenty pripravil vhodný verejne dostupný dataset. Pre úlohu doplnenia chýbajúcej časti 3D tvaru natrénoval a porovnal viacero metód a výsledky celkovo vyhodnotil vhodným spôsobom.

Extent of the technical report

Evaluation level: is within the usual extent

Dĺžka technickej správy je v obvyklom rozsahu.

Work with literature

Literatúra obsahuje kvalitné zdroje, ktoré dobre zodpovedajú charakteru riešenej úlohy. Vhodné by však bolo širšie pokrytie metód využívajúcich strojové učenie na odšumovanie mračien bodov.

90
Topics for thesis defence:
  1. Completion modely boli trénované primárne na dátach s chýbajúcimi časťami geometrie, zatiaľ čo šum, outliery a parazitná geometria sú riešené predchádzajúcimi krokmi denoising pipeline. Ako by sa completion modely správali v prípade, že by PointCleanNet zlyhal a na vstupe completion modelu by zostal šum a/alebo odľahlé body? Bolo by pre zvýšenie robustnosti vhodné trénovať completion modely aj na dátach kombinujúcich chýbajúcu geometriu so šumom a outliermi?
  2. Pre odšumovanie a odstránenie outlierov bol zvolený model PointCleanNet. Aké alternatívne metódy strojového učenia pre odšumovanie v mračných bodov ste zvažovali a prečo ste sa rozhodli práve pre tento model?
  3. V práci uvádzate, že completion modely dosahujú horšie výsledky po aplikácii denoising pipeline, pravdepodobne kvôli distribučnému posunu. Ako by bolo možné tento distribučný posun znížiť alebo kompenzovať pri trénovaní?
Points proposed by reviewer: 87

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová