Bachelor's Thesis

Forward Physics-Informed Neural Networks

Final Thesis 3.34 MB Appendix 1.45 MB

Author of thesis: Adam Kalčík

Acad. year: 2025/2026

Supervisor: Ing. Petr Hadraba, Ph.D.

Reviewer: Ing. Vojtěch Slabý

Abstract:

Spectral bias represents one of the main limitations of Physics-Informed Neural Networks (PINNs), manifested by the reduced ability of the model to approximate rapidly changing and high-frequency behaviors. This problem significantly affects the accuracy of neural networks when solving dynamic physical systems described by differential equations. This bachelor’s thesis focuses on the analysis of this phenomenon and on the possibilities of its suppression using optimization methods intended to improve the convergence and approximation quality of physics-informed neural networks. The theoretical part introduces the principles of PINNs and their application in solving physical problems, while the practical part experimentally verifies the influence of spectral bias and the effectiveness of optimization methods on analytical as well as real oscillatory system data.

Keywords:

Physics-Informed Neural Network (PINN), Spectral Bias, Forward Problem, Linear Oscillator

Date of defence

15.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student seznámil komisi s výsledky své bakalářské práce a odpověděl na otázky oponenta. Následovala diskuze k závěrečné práci a otázky komise: Jaká byla zvolena vzorkovací frekvence. Volba kombinovaných metod. Student na všechny otázky odpověděl ke spokojenosti komise.

Language of thesis

Czech

Faculty

Department

Study programme

Engineering (B-STR-P)

Specialization

Applied Computer Science and Control (AIŘ)

Composition of Committee

doc. Ing. Lukáš Novotný, Ph.D. (předseda)
doc. Ing. Miloš Hammer, CSc. (místopředseda)
Ing. Radek Poliščuk, Ph.D. (člen)
Ing. Jan Turčínek, Ph.D. (člen)
Ing. Petr Hadraba, Ph.D. (člen)
Ing. Filip Kšica, Ph.D. (člen)
doc. Ing. Ivan Švarc, CSc. (člen)
doc. Ing. Stanislav Věchet, Ph.D. (člen)
Ing. Zdeněk Ančík, Ph.D. (člen)

Supervisor’s report
Ing. Petr Hadraba, Ph.D.

Práce pana Kalčíka se věnovala fyzikálně informovaným neuronovým sítím, především problému spektrální zaujatosti. Student v práci testoval několik různých strategií zaměřených na její potlačení a porovnával jejich vliv na kvalitu aproximace řešených fyzikálních úloh.

Nad rámec zadání se následně věnoval také testování inverzního problému na reálných měřených datech, což hodnotím velmi pozitivně. Tento krok zvyšuje praktickou hodnotu práce a ukazuje, že student dokázal aplikovat zvolený přístup i mimo čistě demonstrační syntetické příklady.

Student při zpracování postupoval samostatně a svědomitě. Sám navrhoval různé postupy řešení a dokázal reagovat na slepé cesty, na které v průběhu práce narazil.

Lehkou výtku mám k samotnému textovému zpracování práce. Podle mého názoru se nepodařilo plně využít potenciál dosažených výsledků a v textu se místy objevují v češtině nepřirozené obraty. Tyto nedostatky zbytečně snižují čitelnost a přehlednost práce, nemají však zásadní vliv na její odbornou úroveň. Celkově práci hodnotím jako velmi dobrou.
Evaluation criteria Grade
Splnění požadavků a cílů zadání A
Postup a rozsah řešení, adekvátnost použitých metod B
Vlastní přínos a originalita A
Schopnost interpretovat dosažené výsledky a vyvozovat z nich závěry B
Využitelnost výsledků v praxi nebo teorii A
Logické uspořádání práce a formální náležitosti B
Grafická, stylistická úprava a pravopis B
Práce s literaturou včetně citací B
Samostatnost studenta při zpracování tématu A

Grade proposed by supervisor: B

Reviewer’s report
Ing. Vojtěch Slabý

Předložená bakalářská práce se zabývá vysoce aktuálním a inovativním tématem fyzikálně informovaných neuronových sítí (PINNs). Autor v práci prokazuje schopnost orientovat se v moderních metodách strojového učení a jejich aplikaci na fyzikální systémy. Práce je logicky strukturovaná, začíná popisem základních aktivačních funkcí a dopředných architektur, přechází k samotným PINNs a následně aplikuje různé optimalizační metody na modely netlumeného a tlumeného oscilátoru. Ačkoliv je práce zajímavá, přínosná a ukazuje autorovo zaujetí pro danou problematiku, obsahuje určité metodologické a formální nedostatky. 

- Vysvětlení ústředního tématu: Autor v abstraktu a úvodu definuje "spektrální zaujatost" (spectral bias) jako stěžejní problém. Jev je sice v textu opakovaně a správně popsán jako preference sítě pro nízké frekvence, ale hlubší teoretické vysvětlení chybí. Přestože na bakalářském stupni nelze striktně vyžadovat detailní matematický rozbor (např. pomocí Neural Tangent Kernel), nosné téma celé práce by si zasloužilo o něco detailnější vysvětlení.

- Nejasnosti v parametrech a rovnicích: V tabulkách hyperparametrů autor uvádí specifické parametry, jako je lambda_phys s hodnotou 10^-2. Text však tyto parametry explicitně nepropojuje s příslušnými rovnicemi (např. v rovnicích 7 a 12 tyto váhy zcela chybí). Jedná se o formální nepřesnost, kterou si čtenář sice dokáže z kontextu domyslet, ale snižuje to matematickou preciznost zápisu.
- Problematika relativní L_2 chyby: K vyhodnocení je použita relativní L_2 chyba. Bylo by vhodné v textu alespoň stručně obhájit, proč byla pro vyhodnocení kmitavých signálů zvolena právě tato metrika a jaké z toho plynou výhody či nevýhody.
- Zavádějící interpretace výsledků: V závěru kapitoly 4.5 autor plošně konstatuje, že "Kombinovaný model dosahuje přibližně o 70 % nižší relativní chyby". Z pohledu na tabulku 3 je však zřejmé, že zlepšení značně osciluje v rozmezí 44 % až 98 % v závislosti na frekvenci. Uvádět jedno průměrné či přibližné číslo je v tomto kontextu zavádějící.
- Absence statistického vyhodnocení: Prezentované sloupcové grafy (např. Obr. 18 a 19) zobrazují bodové výsledky chyb bez chybových úseček (error bars). Autor transparentně přiznává použití jednoho pevného seedu, což je vzhledem k výpočetní náročnosti trénování PINNs na bakalářské úrovni omluvitelné. U neuronových sítí je ovšem robustnost vůči náhodné inicializaci vah zásadní, a proto by bylo žádoucí tento nedostatek v diskuzi alespoň kriticky reflektovat.
- Chybějící popis experimentu: U modelu tlumeného oscilátoru autor uvádí, že analyzoval reálný experimentální systém tvořený vetknutým nosníkem a že naměřená data obsahovala šum a byla před trénováním normalizována. V práci ale zcela chybí samotná metodika tohoto fyzikálního experimentu . Není uvedeno, jakým zařízením (senzory) se kmitání snímalo, jaká byla vzorkovací frekvence, ani jaká byla skutečná úroveň šumu u tohoto reálného měření (na rozdíl od první analytické úlohy, kde je amplituda šumu explicitně definována). 
- Názvy kapitol: Práce obsahuje stylisticky nešťastné a nepřirozené názvy kapitol. Například "Harmonický oscilátor netlumený" by měl správně znít "Netlumený harmonický oscilátor". Stejný problém se objevuje i u tlumeného oscilátoru.
- Grafická úprava: Některé obrázky a grafy v textu nejsou ideálně zarovnány s okolním textem, což místy narušuje plynulost čtení a snižuje typografickou úroveň dokumentu.

I přes uvedené nedostatky předložená práce splňuje veškeré požadavky kladené na bakalářské práce a jasně prokazuje autorovu orientaci ve složité problematice fyzikálně informovaných neuronových sítí. Z tohoto důvodu ji doporučuji k obhajobě.
Evaluation criteria Grade
Splnění požadavků a cílů zadání B
Postup a rozsah řešení, adekvátnost použitých metod B
Vlastní přínos a originalita B
Schopnost interpretovat dosaž. výsledky a vyvozovat z nich závěry C
Využitelnost výsledků v praxi nebo teorii B
Logické uspořádání práce a formální náležitosti B
Grafická, stylistická úprava a pravopis C
Práce s literaturou včetně citací A
Topics for thesis defence:
  1. V práci často zmiňujete spektrální zaujatost (spectral bias) jako hlavní limitaci PINNs. Můžete komisi detailněji vysvětlit, jaká je vnitřní matematická nebo architektonická příčina toho, že standardní neuronové sítě preferují aproximaci nízkofrekvenčních funkcí?
  2. Prezentované výsledky jsou založeny na trénování s jedním pevně nastaveným seedem. Jak si můžeme být jisti, že pozorovaná zlepšení u kombinovaných metod (např. Gaussian FFM + Dynamic + RAR) jsou robustní a nejedná se pouze o výsledek příznivé náhodné inicializace vah sítě?
  3. V kapitole 5 pracujete s daty z "reálného experimentálního systému". Můžete stručně popsat, jakým způsobem byla tato data získána (typ senzoriky, filtrace) a jak přesně byla určena amplituda šumu, o které mluvíte v předchozích kapitolách?

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová