Master's Thesis

Equivariant neural networks

Final Thesis 1.25 MB

Author of thesis: Ing. David Jedlička

Acad. year: 2025/2026

Supervisor: doc. Mgr. Petr Vašík, Ph.D.

Reviewer: Ing. Roman Byrtus

Abstract:

In this thesis, we focus on the design of an equivariant neural network based on Clifford algebras for the autoregressive prediction of physical field evolution.

The contribution of this work is the design and implementation of three autoregressive architectures for the prediction of the nonhomogeneous heat equation. The primary model, CGELSTMFNO, combines a Clifford group equivariant encoder and decoder, an equivariant recurrent module CGELSTM that extends the classical LSTM architecture into the framework of Clifford algebra, and a stack of CGEFourier blocks that perform spectral convolution. Two additional architectures, HybridLSTMFNO and ClassicLSTMFNO, serve as a comparison with CGELSTMFNO.

Experiments were conducted across three diffusion regimes, and the models were evaluated on test horizons that were twice as long as the training sequences.
The results show that both Clifford-based models consistently outperform the classical model despite using a comparable number of parameters and the same training data. The comparison between CGELSTMFNO and HybridLSTMFNO suggests that the primary benefit of Clifford algebra in the proposed models arises from equivariant processing of spatial information rather than from the recurrent module itself.

Keywords:

Clifford algebra, Clifford group, Equivariant neural networks, Recurrent neural networks, Neural operators, Heat equation

Date of defence

08.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student prezentoval práci, školitel i oponent přečetli své posudky. K otázkám oponenta: Zkoušel autor jiný počet bloků FNO? Zkoušel, ale nemělo to moc vliv, tak zůstal u použitého počtu. Jaké aktivační klíče byly využity? Různé v závislosti na modelu, vše vysvětleno (tanh, sigmoid, GeLU...). doc.Vašík: závislost na koeficientu difuze, určení vhodné hodnoty alfa dr.Eryganov: Proč se modely špatně chovají na okrajích? Vše zodpovězeno.

Language of thesis

English

Faculty

Department

Study programme

Mathematical Engineering (N-MAI-P)

Composition of Committee

doc. Mgr. Petr Vašík, Ph.D. (předseda)
doc. RNDr. Martin Kolář, Ph.D. (místopředseda)
prof. Aleksandre Lomtatidze, DrSc. (člen)
Ing. Ivan Eryganov, Ph.D. (člen)
Ing. Petra Rozehnalová, Ph.D. (člen)

Supervisor’s report
doc. Mgr. Petr Vašík, Ph.D.

Diplomová práce se zabývá ekvivariantními neuronovými sítěmi, což je oblast na pomezí informatiky a matematiky, s využitím netriviálního aparátu geometrických algeber ve formě Cliffordova neurálního operátoru. Tyto sítě mají lépe fungovat na data, která mohou být změněna některou z eukleidovských transformací. Jako vhodný příklad byla použita rovnice difuze, kde měla neuronová síť simulovat časový průběh řešení. Výsledky nejsou zcela průkazné, což je pochopitelné vzhledem k nedostatečnému hardwaru, a tudíž značnému omezení na velikost datasetu. Přínos ekvivariantních neuronových sítí by se měl projevit až u větších problémů.  Přesto lze tuto práci považovat za dobrý výchozí text pro další výzkum. Student pracoval samostatně, konzultoval pravidelně, termíny plnil svědomitě a k prokázání znalostí v tématu slouží i jím naprogramované kódy. Práci proto hodnotím stupněm A a doporučuji k obhajobě. 
Evaluation criteria Grade
Fulfilment of requirements and objectives of assignment A
Working process, extent and suitability of applied methods B
Scholarly contribution and originality B
Ability to interpret achieved results and draw conclusions A
Applicability of results in practice or theory A
Logical arrangement of thesis and its layout A
Grafic layout, used style and language level B
Work with used sources including quotations B
Student's independence when working on the topic A

Grade proposed by supervisor: A

Reviewer’s report
Ing. Roman Byrtus

Diplomová práce se zabývá problematikou návrhu neuronových sítí s využitím aparátu Cliffordovy algebry. Cílem tohoto přístupu je dosáhnout v implementované neuronové síti vlastnosti ekvivariance, přičemž se očekává vyšší efektivita jak při trénování, tak při predikci. Práce je tematicky velmi rozsáhlá. Autor se věnuje řešení obtížné úlohy, jejíž náročnost vyplývá z mezioborového charakteru a omezené dostupnosti relevantní literatury.

Práci lze rozdělit do tří hlavních částí. První část se věnuje teorii Cliffordových algeber. Autor tuto problematiku zpracoval precizně. Text vychází z běžně používaných zdrojů, ale také z novějších a relevantních publikací zaměřených na Cliffordovy algebry v neuronových sítích, což oceňuji. Obsahuje důkazy některých tvrzení, příklady a také autorovy vlastní poznámky a vysvětlení vybraných teoretických poznatků, díky čemuž je text dobře čitelný. Je zde popsána pro práci stěžejní vlastnost ekvivariance zobrazení vůči grupovým akcím, která je následně využita v kontextu Cliffordových algeber. Až na drobné nepřesnosti, stylistické nedostatky a překlepy je tato část velmi dobře zpracována.

V druhé části se autor věnuje převážně teorii neuronových sítí. Tato sekce slouží jako podpora pro implementační část a přispívá k celkové ucelenosti práce. Teorie klasických neuronových sítí je popsána možná až příliš podrobně, a to na úkor hlubšího popisu hyperkomplexních sítí. Jsou zde popsány tzv. neurální operátory, což je kategorie neuronových sítí navržená pro aproximaci zobrazení mezi prostory funkcí. V této části bych ocenil větší množství odkazů na literaturu před přechodem k tzv. Fourier Neural Operatoru. Následně je zpracována základní teorie týkající se rovnice vedení tepla.

Hlavní část práce je obsažena v kapitolách věnovaných implementaci a experimentálním výsledkům. Autor formuluje úlohu numerického řešení rovnice vedení tepla pro generování dat k trénování neuronové sítě. Jako numerická metoda pro řešení úlohy byla zvolena metoda konečných diferencí. Je třeba zmínit formulaci konkrétní úlohy - autor řeší netriviální problém generování vhodné datové sady, přičemž využívá různé typy tepelných zdrojů ve tvaru parametrizovaných Gaussových funkcí. Tento přístup může vést ke generování méně standardních úloh.

Jsou navrženy tři různé typy neuronových sítí. Návrhy vycházejí z relativně nových publikací v dané oblasti. Bohužel chybí explicitní zdůraznění zjevně netriviálního vlastního přínosu autora v návrhu těchto architektur. Práce obsahuje odkaz na GitHub repozitář s implementací, který však není funkční. Tím pádem nejsou dostupné některé technické detaily, například použité aktivační funkce. Z teoretického hlediska by měly být sítě ekvivariantní například vůči rotacím vstupních dat, avšak demonstrace této vlastnosti v práci chybí. Na závěr jsou prezentovány výsledky modelů pro extrapolaci numerického řešení rovnice vedení tepla na delší časový horizont, než jaký byl obsažen v trénovacích datech. Modely využívající Cliffordovy vrstvy jsou porovnány s klasickými modely, přičemž kritériem je průměrná odchylka u(t, x) na řešené oblasti.

Jedinou podstatnější výtkou je volba příliš složitých architektur pro poměrně komplikovanou úlohu. Při takové volbě je vhodné provést ablační studie, které by mohly lépe doložit adekvátnost navržených neuronových sítí. Dále by bylo vhodné zařadit srovnání se základními architekturami, jako jsou MLP nebo konvoluční sítě.

Po grafické a stylistické stránce práce obsahuje pouze malé množství nedostatků, jako jsou překlepy, obrázky bez odkazů v textu nebo místy méně přesné formulace. Další výtkou je místy nedostatečná práce s literaturou.

Předložená práce splňuje všechny stanovené požadavky. Doporučuji ji k obhajobě a navrhuji celkové hodnocení B.
Evaluation criteria Grade
Fulfilment of requirements and objectives of assignment A
Working process, extent and suitability of applied methods B
Scholarly contribution and originality A
Ability to interpret achieved results and draw conclusions A
Applicability of results in practice or theory B
Logical arrangement of thesis and its layout B
Grafic layout, used style and language level B
Work with used sources including quotations B
Topics for thesis defence:
  1. Zkoušel autor při implementaci modelů jiný počet bloků FNO? Pokud ano, jaké byly výsledky?
  2. Jaké aktivační funkce byly využity v navrhovaných modelech?

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová