Bachelor's Thesis

Bayesian Approaches to Robust State Estimation

Final Thesis 1.96 MB Appendix 7.65 kB

Author of thesis: Jana Horňáčková

Acad. year: 2025/2026

Supervisor: Ing. Ondřej Skalský

Reviewer: Ing. Jakub Dokoupil, Ph.D.

Abstract:

The paper deals with bayesian approach to the inference of a system state. After the reader is introduced to the basic tools utilized by the bayesian approach, the problem of general filtering and smoothing is defined and its solution is found. The general solution is then applied to a normal linear state-space model and the algebraic solution, known as the Kalman filter and the Rauch-Tung-Striebel smoother, is found. Variational Bayes method of distributional approximation is then used to solve the problem of filtering and smoothing for a system whose measurement noise is modeled by a Student's t distribution. Previous solutions are later generalized to apply to cases where some parameters of the measurement noise are unknown. Each solution is then summarized as an algorithm. Computer simulations are carried out to evaluate performance of each algorithm when subjected to respective noises and their robustness to occasional measurement failures.

Keywords:

Bayesian inference, State estimation, Normal distribution, Student's t distribution, Wishart distribution, Kalman filter, Rauch-Tung-Striebel smoother, Variational Bayesian approximation.

Date of defence

16.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Studentka obhájila bakalářskou práci. Komise neměla žádné námitky k řešené práci. V průběhu odborné rozpravy odpověděl na dotazy: Oponenta: - Navrhněte simulační experiment, na kterém by bylo možné ukázat, kdy má RTS vyhlazování oproti Kalmanově filtraci výrazný přínos. Uvažujte normální lineární stavový model, tedy případ normálního procesního i měřicího šumu, a porovnejte dvě nastavení: nulovou procesní kovarianci Q a relativně velkou procesní kovarianci Q. Sledujte chybu odhadu ve fixním minulém čase při přidávání budoucích měření. - V práci je Studentův šum uvažován pouze v modelu měření, zatímco procesní šum zůstává normální. Bylo by možné obdobným variačním postupem rozšířit Studentův filtr či dávkový Studentův vyhlazovač i na případ Studentova procesního šumu? Komise: - Práce je psaná v třetí osobě, proč práci nepíšete v první osobě? - Asi vhodnější by bylo vykreslovat aktuální hodnotu jednotlivých stavů a jejich kovarianci. - Jak jsou jednotlivé algoritmy výpočetně náročné? - Proč jste si vybrala tento typ práce a jaká byla vaše motivace? - Šlo by algoritmy upravit i pro rovnoměrné rozložení, které je běžnější pro oblast měření?

Language of thesis

Czech

Faculty

Department

Study programme

Automation and Measurement (BPC-AMT)

Composition of Committee

doc. Ing. Radovan Hájovský, Ph.D. (předseda)
prof. Ing. Radomil Matoušek, Ph.D. (místopředseda)
Ing. Zdeněk Havránek, Ph.D. (člen)
Ing. Radek Štohl, Ph.D. (člen)
Ing. Soběslav Valach (člen)
Ing. et Ing. Lukáš Zezula, Ph.D. (člen)

Supervisor’s report
Ing. Ondřej Skalský

Bakalářská práce se zabývá robustní bayesovskou inferencí stavů pro stochastický stavový model. Studentka Jana Horňáčková seznamuje čtenáře s bayesovským přístupem a prezentuje obecné řešení úlohy filtrace a vyhlazování. Pro normální stavový model vede tento postup na analytické řešení, pro případ Studentova šumu měření je užito variační bayesovské aproximace. Prostřednictvím téže aproximativní metody studentka rovněž formuluje adaptivní alternativy těchto algoritmů. Simulace demonstrují vlastnosti jednotlivých řešení a, mimo jiné, experimentálně ověřují benefity uvažování Studentova šumu měření v případech, kdy dochází k výpadkům měření.

Oceňuji píli a odhodlanost studentky pro studium této náročné problematiky, která se promítla v bakalářské práci v podobě detailního odvození a popisu prezentovaných algoritmů. Experimenty jsou vhodně zvoleny a výsledky indikují značný potenciál robustních estimátorů v reálných aplikacích, kde je přítomnost odlehlých hodnot šumu měření běžná. Bohužel, typografická stránka některých částí práce reflektuje neadekvátní množství času, které bylo alokováno na její sepsání. Vzhledem k náročnosti tématu práce a splnění i nepovinné části zadání však hodnotím práci výborně: A, 93 bodů. Points proposed by supervisor: 93

Grade proposed by supervisor: A

Reviewer’s report
Ing. Jakub Dokoupil, Ph.D.

Práce se zabývá bayesovským odhadováním stavu lineárního stavového modelu s normálním procesním šumem a normálním, resp. Studentovým šumem měření. Autorka v práci formuluje a implementuje filtrační i dávkové vyhlazovací algoritmy, a to jak pro případ známých parametrů měřicího šumu, tak pro případ neznámé kovarianční, resp. škálovací matice šumu měření.

Pozitivně hodnotím jednotné pravděpodobnostní uchopení úloh filtrace a vyhlazování v bayesovském rámci. Studentka ukazuje, že zdánlivě odlišné algoritmy lze chápat jako konkrétní způsoby výpočtu posteriorních rozdělení ve stavových modelech. Tento pohled svědčí o dobré orientaci autorky v pravděpodobnostní formulaci problému odhadování stavu.

Za slabší stránku práce považuji, že přes široké spektrum předložených algoritmů není dostatečně rozvedena jejich interpretační a praktická role. Experimentální část sice porovnává metody pro normální a Studentův šum měření pomocí MSE polohy a rychlosti a samostatně se věnuje robustnosti vůči výpadkům měření, avšak méně systematicky vysvětluje, kdy je vhodné preferovat filtraci, kdy dávkové vyhlazování a jakou roli v tomto rozhodování hraje charakter šumu měření či velikost procesní nejistoty. Hodnocení je navíc založeno převážně na přesnosti bodového odhadu; chybí hlubší posouzení kvality kvantifikace nejistoty, například pomocí empirického pokrytí kredibilních intervalů. Za nepřesné považuji také tvrzení na straně 42, že „při vyhlazování využíváme k inferenci parametrů celou množinu dostupných dat“ oproti filtraci. V rámci experimentálního porovnání jsou oba přístupy aplikovány na tutéž datovou sekvenci; rozdíl spočívá spíše v tom, že dávkové vyhlazování neakumuluje aproximační chybu v čase tak jako rekurzivní filtrace. V experimentální části dále chybí zobrazení průběhu vnitřních adaptivních veličin, zejména latentních vah u Studentových filtrů a odhadu kovariance šumu měření u metod s neznámou kovariancí. Tyto průběhy by umožnily lépe vysvětlit rozdílný mechanismus robustnosti: u Studentova filtru je zřejmě velké reziduum lokálně potlačeno snížením váhy daného měření, zatímco u adaptivního KF se zřejmě promítá do navýšení odhadované nejistoty měření.

Práce s literaturou je uspokojivá a autorka odkazuje na relevantní zdroje pro klasické i adaptivní varianty Kalmanovy filtrace a vyhlazování. Méně zřetelně je však v textu rozlišeno, které algoritmy jsou převzaty z literatury a kde případně spočívá vlastní invence autorky. Vzhledem k tomu, že citace u některých algoritmizací chybí, postrádám více detailů v algebraických úpravách vedoucích od obecných bayesovských vztahů ke konkrétním tvarům použitých hustot.

Práce obsahuje i několik matematických nepřesností. Za podstatnou považuji zejména zápis navazující na rovnici 4.10a. Tato rovnice ještě korektně zachovává dynamické vazby mezi stavy v čase, avšak následný zápis v rovnici 4.10b vyjadřuje posterior celé trajektorie jako součin marginálních rozdělení jednotlivých stavů. To obecně neplatí, protože vyhlazené stavy nejsou v čase nezávislé. Ostatně i samotná vyhlazovací rekurze pracuje s vazbou mezi sousedními stavy prostřednictvím členu G (4.11f). Obdobný typ nepřesnosti se navíc opakuje i u dalších vyhlazovacích algoritmizací v práci. Dále, u rovnice 1.24 je zápis podmíněné nezávislosti formálně problematický, protože aktuální pozorování je podmíněno množinou dat, která jej sama obsahuje. V experimentální části se dále objevuje chyba v rovnici 6.4, kde je matematický zápis výpadků měření opačný vůči slovnímu popisu: zatímco text uvádí zhoršení každého padesátého vzorku, rovnice přiřazuje zvýšenou kovarianci naopak všem ostatním vzorkům.

Některá tvrzení v práci jsou nepřesná či zavádějící. Přechod k Markovovskému modelu je v kapitole 2 prezentován jako „určité zjednodušení“, ačkoliv jde spíše o základní modelový předpoklad stavového modelu, z něhož teprve plyne možnost rekurzivní filtrace. Podobně je v kapitole 1.4 poněkud nepřesně uvažován „generovaný deterministický vstup“; pro uvedené algoritmy není podstatné, zda byl vstup generován deterministicky, ale že je při inferenci známý. Podobně nejasná je formulace u variační bayesovské aproximace, kde má být počet faktorů q volen „dostatečně velký“, ale zároveň „co nejmenší“; text zde směšuje otázku výpočetní řešitelnosti s otázkou zachování závislostní struktury posterioru. Zavádějící je také tvrzení o „maximální korelaci“ skutečného posterioru s jeho aproximací, neboť v daném kontextu nejde o korelaci náhodných veličin, ale o kvalitu aproximace hustoty. V téže části je ztrátový funkcionál popsán jako funkcionál s kladnými hodnotami, přesnější by však bylo požadovat nezápornost, protože funkcionál může nabývat i nulové hodnoty. V práci se dále objevují dílčí notační nedostatky, například nepřesné odkazy na některé rovnice a ne zcela explicitně zavedený symbol N pro počet iterací variačního algoritmu.

S ohledem na teoretickou náročnost tématu, rozsah zpracovaných metod a vlastní práci autorky považuji předloženou práci za velmi kvalitní. Přestože obsahuje některé nepřesnosti a místy postrádá hlubší interpretační diskusi, svým rozsahem a hloubkou přesahuje běžný rámec bakalářské práce. Po zvážení všech kladů a nedostatků navrhuji hodnocení A. Topics for thesis defence:
  1. Navrhněte simulační experiment, na kterém by bylo možné ukázat, kdy má RTS vyhlazování oproti Kalmanově filtraci výrazný přínos. Uvažujte normální lineární stavový model, tedy případ normálního procesního i měřicího šumu, a porovnejte dvě nastavení: nulovou procesní kovarianci Q a relativně velkou procesní kovarianci Q. Sledujte chybu odhadu ve fixním minulém čase při přidávání budoucích měření.
  2. V práci je Studentův šum uvažován pouze v modelu měření, zatímco procesní šum zůstává normální. Bylo by možné obdobným variačním postupem rozšířit Studentův filtr či dávkový Studentův vyhlazovač i na případ Studentova procesního šumu?
Points proposed by reviewer: 90

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová