As machine learning (ML) technology penetrates embedded devices, a new class of design automation algorithms capable of generating hardware-aware implementations of ML algorithms is highly desired. In addition, a lot of effort is now invested in developing explainable ML. We hypothesize that the design time of hardware-aware implementations of ML systems showing additional properties (such as explainable behavior) can be substantially reduced if the used design automation algorithms employ suitable surrogate models for estimating the accuracy, hardware parameters, and other desired properties. In addition to developing suitable surrogate models, we will create a new method based on genetic programming for the automated design of highly-optimized ML models showing excellent trade-offs among the quality of service, hardware parameters, and explainability. The design method and ML models automatically generated by the method will be evaluated in case studies, including image classifiers, Parkinson's disease assessment, and command classifiers of brain signals.

Description in Czech
Vzhledem k tomu, že technologie strojového učení (ML) proniká do vestavěných zařízení, je žádoucí vytvořit novou třídu algoritmů pro automatizaci návrhu, která by byla schopna generovat hardwarově orientované implementace algoritmů ML. Kromě toho je dnes investováno velké úsilí do vývoje vysvětlitelného ML. Předpokládáme, že dobu návrhu hardwarových implementací ML systémů vykazujících další vlastnosti (např. vysvětlitelné chování) lze podstatně zkrátit, pokud použité algoritmy automatizace návrhu využijí vhodné náhradní modely pro odhad přesnosti, hardwarových parametrů a dalších vlastností. Kromě vývoje vhodných náhradních modelů vytvoříme novou metodu založenou na genetickém programování pro automatizovaný návrh vysoce optimalizovaných ML modelů vykazujících vynikající kompromisy mezi kvalitou výstupu, hardwarovými parametry a vysvětlitelností. Návrhová metoda a ML modely automaticky generované touto metodou budou vyhodnoceny v případových studiích zahrnujících klasifikátory obrazu, hodnocení Parkinsonovy nemoci a klasifikátory příkazů ze signálů vytvářených mozkem.

Keywords
evolutionary algorithm;approximate computing;deep neural network;machine learning;hardware accelerator;explainability;design automation;

Key words in Czech
evoluční algoritmus;aproximativní počítání;hluboká neuronová síť;strojové učení;hardwarový akcelerátor;vysvětlitelnost;automatizace návrhu;

GA24-10990S

English

Sekanina Lukáš, prof. Ing., Ph.D. - principal person responsible
Drahošová Michaela, Ing., Ph.D. - fellow researcher
Hurta Martin, Ing. - fellow researcher
Malik Aamir Saeed, prof., Ph.D. - fellow researcher
Mrázek Vojtěch, Ing., Ph.D. - fellow researcher
Piňos Michal, Ing. - fellow researcher
Vašíček Zdeněk, doc. Ing., Ph.D. - fellow researcher
Zaheer Muhammad Asad - fellow researcher

Department of Computer Systems
- responsible department (21.3.2023 - not assigned)
Evolvable Hardware Research Group
- internal (21.3.2023 - 31.12.2026)
Department of Computer Systems
- beneficiary (21.3.2023 - 31.12.2026)

PIŇOS, M.; KLHŮFEK, J.; MRÁZEK, V.; SEKANINA, L. Inference Energy Analysis in Context of Hardware-Aware NAS. In 2025 28th International Symposium on Design and Diagnostics of Electronic Circuits and Systems. Lyon: Institute of Electrical and Electronics Engineers, 2025. p. 161-164. ISBN: 979-8-3315-2801-0.
Detail

MRÁZEK, V.; VAŠÍČEK, Z. AxMED: Formal Analysis and Automated Design of Approximate Median Filters using BDDs. In 2025 IEEE International Symposium on Circuits and Systems (ISCAS). London: Institute of Electrical and Electronics Engineers, 2025. p. 1-5. ISBN: 979-8-3503-5683-0.
Detail

MASÁR, F.; MRÁZEK, V.; SEKANINA, L. Late Breaking Result: FPGA-Based Emulation and Fault Injection for CNN Inference Accelerators. In 2025 Design, Automation & Test in Europe Conference & Exhibition (DATE). Lyon: Institute of Electrical and Electronics Engineers, 2025. p. 1-2. ISBN: 978-3-9826741-0-0.
Detail

SEKANINA, L. Tutorial: Evolutionary Design Methods in Electronic Design Automation. In IEEE 42nd International Conference on Computer Design (ICCD). Milano: IEEE Computer Society, 2024. p. 689-690. ISBN: 979-8-3503-8040-8.
Detail

SEKANINA, L.; JŮZA, T. Genetic Programming with Memory for Approximate Data Reconstruction. In Genetic Programming Theory and Practice XXI. Singapore: Springer Nature Singapore, 2025. p. 199-218. ISBN: 978-981-9600-76-2.
Detail

HURTA, M.; OVESNÁ, A.; MRÁZEK, V.; SEKANINA, L. Multi-Objective Evolutionary Design of Explainable EEG Classifier. Genetic Programming, 28th European Conference, EuroGP 2025. Lecture Notes in Computer Science. Terst: Springer Nature Switzerland AG, 2025. p. 52-67. ISBN: 978-3-031-89990-4.
Detail

ARIF, M.; REHMAN, F.; SEKANINA, L.; MALIK, A. A comprehensive survey of evolutionary algorithms and metaheuristics in brain EEG-based applications. Journal of Neural Engineering, 2024, vol. 21, no. 5, p. 1-25. ISSN: 1741-2552.
Detail

PIŇOS, M.; SEKANINA, L.; MRÁZEK, V. ApproxDARTS: Differentiable Neural Architecture Search with Approximate Multipliers. In 2024 The International Joint Conference on Neural Networks (IJCNN). Yokohama: Institute of Electrical and Electronics Engineers, 2024. p. 1-8. ISBN: 979-8-3503-5931-2.
Detail

VAŠÍČEK, Z.; MRÁZEK, V.; SEKANINA, L. Automated Verifiability-Driven Design of Approximate Circuits: Exploiting Error Analysis. In 2024 Design, Automation & Test in Europe Conference & Exhibition (DATE). Valencia: Institute of Electrical and Electronics Engineers, 2024. p. 1-6. ISBN: 979-8-3503-4859-0.
Detail

KLHŮFEK, J.; ŠAFÁŘ, M.; MRÁZEK, V.; VAŠÍČEK, Z.; SEKANINA, L. Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators. In 2024 27th International Symposium on Design & Diagnostics of Electronic Circuits & Systems (DDECS). Kielce: Institute of Electrical and Electronics Engineers, 2024. p. 1-6. ISBN: 979-8-3503-5934-3.
Detail

JAWED, S.; FAYE, I.; MALIK, A. Deep learning-based assessment model for Real-time identification of visual learners using Raw EEG. IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, 2024, vol. 32, no. 1, p. 378-390. ISSN: 1558-0210.
Detail

Responsibility: Sekanina Lukáš, prof. Ing., Ph.D.