Mnohé počítačové systémy mohou být chápány jako (semi-)autonomní agenti, kteří interagují se svým prostředím. Chování těchto agentů je řízeno pomocí tzv. kontrolerů, které musí nezbytně brát do úvahy různé formy neurčitosti pramenící zejména z nepredikovatelného chování prostředí a z nepřesnosti dat, které sbírají o svém stavu. Existuje několik přístupů pro automatizovaný návrh kontrolerů, ale jejich reálné nasazení je limitované buď omezenou škálovatelností nebo zárukami, které mohou poskytnout na bezpečnost výsledných kontrolerů: formální metody se typicky soustředí na bezpečnost zatímco metody strojové učení na škálovatelnost. Cílem tohoto projektu je vývoj teoretických základů a syntetizačních algoritmů, které dovolí redukovat tyto limity a tak zásadně zlepšit aplikovatelnost automatizovaného návrhu kontrolerů. Hlavní vizí projektu je adaptovat, dále vyvinout a synergicky integrovat nově vznikající paradigmata: induktivní syntézu, která vylepšuje škálovatelnost formálních metod a risk-aware učení, které vylepšuje garance bezpečnosti výsledných kontrolerů.

Popis anglicky
Many modern computing systems can be seen as (semi)-autonomous agents interacting with their environment. The agent's behaviour is determined by a controller that necessarily needs to deal with uncertainties including unpredictability of the environment and the imprecision of data gathered about its current state. There exists a multitude of approaches to automated controller design, however, they all tackle the safety-scalability gap: scalability limits the complexity of the problems that can be handled and safety ensures that agent operates in a safe and interpretable way. There are two principal approaches: formal methods prioritize safety and reinforcement learning prioritizes scalability. The project aims at developing theoretical foundation and synthesis algorithms that reduce this gap and thus improve their practical applicability. The key idea is to adapt, further develop and synergically integrate two emerging paradigms:  inductive synthesis improving the scalability of correct-by-construction design techniques and risk-aware learning improving the safety guarantees.

Klíčová slova
Řízení agentů v nejistém prostředí; automatizovaný návrh systémů; bezpečnost a škálovatelnost; induktivní syntéza; zpětnovazebné učení; risk-aware učení;

Klíčová slova anglicky
Decision making under uncertainty; controller design; safety and scalalbility; inductive synthesis; reinforcement learning, risk-aware learning;

GA23-06963S

čeština

Češka Milan, doc. RNDr., Ph.D. - hlavní řešitel
Andriushchenko Roman, Ing. - spoluřešitel
Dacík Tomáš, Ing. - spoluřešitel
Gaďorek Petr, Ing. - spoluřešitel
Hudák David, Ing. - spoluřešitel
Macák Filip, Ing. - spoluřešitel
Malásková Věra - spoluřešitel
Mrázek Vojtěch, Ing., Ph.D. - spoluřešitel
Nesvedová Šárka - spoluřešitel
Oravcová Marcela, Ing. - spoluřešitel
Paulíková Barbora, Mgr. - spoluřešitel
Štanclová Eva - spoluřešitel
Štursová Markéta, Ing. - spoluřešitel
Ventrubová Hana - spoluřešitel

Ústav inteligentních systémů
- odpovědné pracoviště (24.3.2022 - nezadáno)
Automata@FIT
- interní (24.3.2022 - 31.12.2025)
Masarykova Univerzita v Brně
- spolupříjemce (24.3.2022 - 31.12.2025)
Ústav inteligentních systémů
- příjemce (24.3.2022 - 31.12.2025)

ANDRIUSHCHENKO, R.; ČEŠKA, M.; MACÁK, F.; JUNGES, S. Policies Grow on Trees: Model Checking Families of MDPs. Proceeding of 22nd International Symposium on Automated Technology for Verification and Analysis. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Cham: Springer Verlag, 2025. p. 51-75. ISBN: 978-3-031-78749-2.
Detail

MACÁK, F.; ANDRIUSHCHENKO, R.; ČEŠKA, M.; JUNGES, S.; KATOEN, J. An Oracle-Guided Approach to Constrained Policy Synthesis Under Uncertainty. JOURNAL OF ARTIFICIAL INTELLIGENCE RESEARCH, 2025, vol. 2025, no. 82, p. 433-469. ISSN: 1076-9757.
Detail

ANDRIUSHCHENKO, R.; ALEXANDER, B.; ČEŠKA, M.; JUNGES, S.; KATOEN, J.; MACÁK, F. Search and Explore: Symbiotic Policy Synthesis in POMDPs. In Computer Aided Verification. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Cham: Springer Verlag, 2023. p. 113-135. ISBN: 978-3-031-37708-2.
Detail

ČEŠKA, M.; ANDRIUSHCHENKO, R.; ARND, H.; JUNGES, S.; KŘETÍNSKÝ, J. Tools at the Frontiers of Quantitative Verification: QComp 2023 Competition Report. In International TOOLympics Challenge. Lecture Notes in Computer Science. Cham: Springer Nature Switzerland AG, 2024. p. 90-146. ISBN: 978-3-031-67694-9.
Detail

ANDRIUSHCHENKO, R.; ČEŠKA, M.; MACÁK, F.; FRANCESCO, P.; MICHELE, C. Decentralized Planning Using Probabilistic Hyperproperties. Proc. of the 24th International Conference on Autonomous Agents and Multiagent Systems. Detroit: 2025. p. 1688-1697. ISBN: 979-8-4007-1426-9.
Detail

ANDRIUSHCHENKO, R.; BARTOCCI, E.; ČEŠKA, M.; FRANCESCO, P.; SARAH, S. Deductive Controller Synthesis for Probabilistic Hyperproperties. In Quantitative Evaluation of SysTems. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Cham: Springer Verlag, 2023. p. 288-306. ISBN: 978-3-031-43834-9.
Detail

ANDRIUSHCHENKO, R.; ČEŠKA, M.; CHAKRABORTY, D.; JUNGES, S.; KRETINSKY, J.; MACÁK, F. Symbiotic Local Search for Small Decision Tree Policies in MDPs. In Proceedings of the Forty-first Conference on Uncertainty in Artificial Intelligence. Proceedings of Machine Learning Research. ML Research Press, 2025. p. 132-142.
Detail

ANDRIUSHCHENKO, R.; ČEŠKA, M.; JUNGES, S.; MACÁK, F. Small Decision Trees for MDPs with Deductive Synthesis. In Computer Aided Verification. Springer Cham, 2025. p. 169-192. ISBN: 978-3-031-98678-9.
Detail

GALESLOOT, M.; ANDRIUSHCHENKO, R.; ČEŠKA, M.; JUNGES, S.; JANSEN, N. Robust Finite-Memory Policy Gradients for Hidden-Model POMDPs. In Proceedings of the Thirty-Fourth International Joint Conference on Artificial Intelligence. International Joint Conferences on Artificial Intelligence Organization, 2025. p. 8518-8526. ISBN: 978-1-956792-06-5.
Detail

Odpovědnost: Češka Milan, doc. RNDr., Ph.D.