Master's Thesis

The influence of noise on the robustness of global optimization methods

Final Thesis 12.05 MB

Author of thesis: Bc. Patrik Visingr

Acad. year: 2025/2026

Supervisor: doc. Ing. Jakub Kůdela, Ph.D.

Reviewer: Ing. Martin Juříček

Abstract:

This thesis deals with the analysis of the influence of noise on the robustness of selected global optimization methods. In practical engineering and scientific problems, objective function values are not always exact, because they often come from measurements, numerical simulations or stochastic models. This issue is especially important in black-box optimization, where the optimizer works only with evaluated objective function values and does not have access to exact derivatives. The aim of the thesis is to compare the behaviour of selected optimization algorithms under noisy objective function evaluations. The experimental part was carried out using the COCO benchmarking platform with the standard BBOB test suite, and the results were processed using the COCOPP tool. Noise was introduced into the problems using the cocoex.noiser.Noisifier module, which makes it possible to test algorithms under controlled conditions without changing their interface. The experiments were implemented in Python and used optimizers mainly from the Nevergrad library. In total, 23 algorithms were compared under additive and subtractive Cauchy-type noise. The probability of noise occurrence was gradually varied from the noise-free case to fully noisy evaluation. The results showed that algorithm robustness strongly depends on the type of noise, its probability and the dimension of the solved problem. In the noisefree case, the best results were achieved mainly by CMA-based methods. At higher levels of additive noise, Differential Evolution variants were competitive in lower dimensions, while Powell-based methods proved to be more robust in higher dimensions. Subtractive noise generally had a stronger negative effect already at lower probabilities. The main contribution of the thesis is the creation of a reproducible experimental procedure for evaluating the robustness of optimization algorithms in the COCO environment. The obtained results confirm that none of the tested methods is universally best, and that the suitability of an algorithm depends on the character of the problem as well as on the type of noise.

Keywords:

global optimization, black-box optimization, noise robustness, benchmarking, COCO, BBOB, Nevergrad, Cauchy noise, additive noise, subtractive noise

Date of defence

09.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student obeznámil komisi s výsledky své DP. Po přečtení posudků následovaly dotazy oponenta (viz posudek oponenta) a komise: Použitý hardware v MetaCentru. Popis osy y (v obrázcích 'Citlivost šumu' z prezentace). Zpracování grafů. Filtrace šumu. Student reagoval na všechny dotazy velmi uspokojivě.

Language of thesis

English

Faculty

Department

Study programme

Applied Computer Science and Control (N-AIŘ-P)

Composition of Committee

doc. Ing. Oldřich Trenz, Ph.D. (předseda)
doc. Ing. Jakub Kůdela, Ph.D. (místopředseda)
prof. Ing. Zdeněk Hadaš, Ph.D. (člen)
doc. Ing. Pavel Škrabánek, Ph.D. (člen)
doc. Ing. David Fojtík, Ph.D. (člen)
prof. Ing. Jiří Jaroš, Ph.D. (člen)
doc. Ing. Miloš Hammer, CSc. (člen)

Supervisor’s report
doc. Ing. Jakub Kůdela, Ph.D.

Diplomová práce se zabývá aktuální a odborně relevantní problematikou robustnosti globálních optimalizačních metod při zašuměném vyhodnocování účelové funkce.

Student během řešení práce prokázal schopnost samostatně nastudovat oblast moderních optimalizačních metod, benchmarkingových postupů a práce s platformou COCO.

Experimentální část práce je rozsáhlá a z hlediska výpočetní náročnosti i organizačního zvládnutí velmi dobře zpracovaná. Student vhodně využil výpočetní infrastrukturu MetaCentra a prokázal schopnost pracovat s větším objemem experimentálních dat i s nástroji pro jejich následné vyhodnocení.

Pozitivně hodnotím také strukturu práce a logickou návaznost jednotlivých kapitol. Text je psán srozumitelně, terminologicky korektně a ve velmi dobré odborné angličtině. Grafické zpracování výsledků je přehledné a umožňuje orientaci v rozsáhlém množství experimentálních dat.

Student během řešení pracoval aktivně, samostatně a dlouhodobě konzultoval dílčí problémy. Oceňuji jeho systematický přístup a schopnost samostatné implementace.

Diplomovou práci doporučuji k obhajobě a navrhuji hodnocení A/výborně.
Evaluation criteria Grade
Splnění požadavků a cílů zadání A
Postup a rozsah řešení, adekvátnost použitých metod A
Vlastní přínos a originalita A
Schopnost interpretovat dosažené výsledky a vyvozovat z nich závěry A
Využitelnost výsledků v praxi nebo teorii A
Logické uspořádání práce a formální náležitosti A
Grafická, stylistická úprava a pravopis A
Práce s literaturou včetně citací B
Samostatnost studenta při zpracování tématu A

Grade proposed by supervisor: A

Reviewer’s report
Ing. Martin Juříček

Student Patrik Visingr se ve své diplomové práci zaobírá problematikou vlivu šumu na robustnost globálních optimalizačních metod.

 

Tato rozsáhlá diplomová práce v teoretické části popisuje celou paletu optimalizačních algoritmů, které jsou integrovány v knihovně Nevergrad od Meta Research. Tento teoretický popis tvoří základ pro výběr algoritmů do praktické části.

 

Praktická část diplomové práce přináší návrh a implementaci MLOps pipeliny pro benchmarking single-objective optimalizačních algoritmů z knihovny Nevergrad s přidáním aditivního a subtraktivního šumu. Student ve své práci provedl rozsáhlý experiment na českém gridovém superpočítači MetaCentrum, přičemž oba typy šumu zkoumal odděleně, a následně prezentoval základní porovnání metod. V prvé řadě analyzoval chování algoritmů pomocí platformy COCO bez šumu, následně s aditivním a v neposlední řadě se subtraktivním šumem. Závěrem přehledně shrnul výsledky i návrhy na vylepšení.

 

Student splnil zadání v plném rozsahu. Využil adekvátní přístup pro sestavení experimentů v systému OpenPBS na MetaCentru. Taktéž vhodně využil platformu COCO pro benchmarking metod a následnou post-processing analýzu. Řešení a výsledky této práce poskytují velmi dobrý základ pro další výzkum. Grafická úprava práce v anglickém jazyce je na velmi dobré úrovni. Velmi zdařilou práci však mírně podkopávají drobné nedostatky v nejednotném stylu citací v textu, odkazování se na publikace bez uvedení citace a obecně menší množství citací. Autor v práci na několika místech operuje s myšlenkou „No Free Lunch Theorem”, nicméně v teoretické části je postrádano explicitní představení, definice či stručný popis.

 

Praktická část práce je na velmi vysoké úrovni. Vyzdvihuji zejména provedení experimentů na českém gridovém superpočítači MetaCentrum a analýzu velkého množství dat s vhodnou interpretací dosažených výsledků, které mohou sloužit jako dobrý základ pro vědeckou publikaci.

 

Předloženou práci doporučuji k obhajobě a hodnotím známkou A / výborně.
Evaluation criteria Grade
Splnění požadavků a cílů zadání A
Postup a rozsah řešení, adekvátnost použitých metod A
Vlastní přínos a originalita A
Schopnost interpretovat dosaž. výsledky a vyvozovat z nich závěry A
Využitelnost výsledků v praxi nebo teorii A
Logické uspořádání práce a formální náležitosti A
Grafická, stylistická úprava a pravopis B
Práce s literaturou včetně citací C
Topics for thesis defence:
  1. Ve své práci jste využíval výpočetní infrastrukturu MetaCentrum a odhadl jste, že na běžném stolním počítači by výpočty trvaly přibližně 278 dní. Můžete zmínit i jiné alternativy komerčních / akademických HPC clusterů?
  2. Zvolil jste Cauchyho typ šumu (aditivní a subtraktivní). Jaká je charakteristika tohoto šumu?

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová