Moderní technologie umělé inteligence založené na hlubokých neuronových sítí (DNN) jako např. GPT jsou výpočetně extrémně náročné. Kromě toho, že spotřebují ohromné množství energie, to omezuje jejich nasazení ve vestavěných (koncových) zařízeních napájených bateriemi (např. chytré mobilní aplikace). LEDNeCo je projektem základního výzkumu, jehož ambicí je rozvoj paradigmatu nízkoenergetických hlubokých neurovýpočtů, který je založený na strojově nezávislé teorii energetické složitosti DNN vycházející z praktických zkušeností s návrhem různých hardwarových akcelerátorů DNN. Mj. budou odvozeny univerzální dolní meze energetické složitosti DNN a odhady inferenční chyby pro identifikaci komponent DNN (např. vah, neuronů, vrstev), jejichž aproximace je prokazatelně energeticky nejefektivnějsí. Teoretické poznatky budou použity v nových pokročilých aproximačních technikách (např. komprese vah, booleovská optimalizace, robustní aproximace komponent) návrhu hardwarových implementací DNN (vč. transformerů) s nízkou spotřebou energie, které budou testovány na referenčních datech.

Description in English
Modern artificial intelligence technologies based on deep neural networks (DNNs) such as GPT are computationally extremely demanding. In addition to consuming an enormous amount of energy, this limits their deployment in battery-powered embedded (edge) devices (e.g. smart mobile apps). LEDNeCo is a project of basic research whose ambition is to develop a low-energy deep neurocomputing paradigm based on machine-independent energy complexity theory for DNNs, which issues from practical experience in the design of diverse DNN hardware accelerators. Among other things, universal lower bounds on energy complexity of DNNs and estimates of inference error will be derived for identifying DNN components (e.g. weights, neurons, layers) whose approximation is provably the most energy efficient. The achieved theoretical knowledge will be used in new advanced approximation techniques (e.g. weight compression, Boolean optimization, robust aproximation of components) for low-power hardware implementations of DNN (incl. transformer), which will be tested on benchmark datasets.

Keywords
hluboké neuronové sítě;transformery;energetická složitost;hardwarový akcelerátor;aproximační teorie;robustní učení;genetické programování

Key words in English
deep neural networks;tranformers;energy complexity;hardware accelerator;approximation theory;robust learning;genetic programming

GA25-15490S

Czech

Vašíček Zdeněk, doc. Ing., Ph.D. - principal person responsible
Klhůfek Jan, Ing. - fellow researcher
Mrázek Vojtěch, Ing., Ph.D. - fellow researcher
Sekanina Lukáš, prof. Ing., Ph.D. - fellow researcher

Department of Computer Systems
- responsible department (2.4.2024 - not assigned)
Department of Computer Systems
- co-beneficiary (2.4.2024 - 31.12.2027)

MRÁZEK, V.; BALASKAS, K.; DUARTE, P.; VAŠÍČEK, Z.; TAHOORI, M.; ZERVAKIS, G. Arbitrary Precision Printed Ternary Neural Networks with Holistic Evolutionary Approximation. IEEE Transactions on Circuits and Systems for Artificial Intelligence, 2025, vol. 2, no. 4, p. 351-363.
Detail

KALKREUTH, R.; DE, O.; JANKOVIC, A.; ANASTACIO, M.; DIERKES, J.; VAŠÍČEK, Z.; HOOS, H. TinyverseGP: Towards a Modular Cross-domain Benchmarking Framework for Genetic Programming. Proceedings of the Genetic and Evolutionary Computation Conference Companion. Malaga: Association for Computing Machinery, 2025. p. 2172-2176. ISBN: 979-8-4007-1464-1.
Detail

PLEVAČ, L.; VAŠÍČEK, Z. Towards Efficient Semantic Mutation in CGP: Enhancing SOMOk. Proceedings of the Genetic and Evolutionary Computation Conference Companion. Malaga: Association for Computing Machinery, 2025. p. 2172-2176. ISBN: 979-8-4007-1464-1.
Detail

SEDLÁK, D.; KLHŮFEK, J.; MRÁZEK, V.; VAŠÍČEK, Z. Towards Efficient Scheduling of Transformer Neural Network Computation for Edge AI Deployment. Proceedings of the Genetic and Evolutionary Computation Conference Companion. Malaga: Association for Computing Machinery, 2025. p. 2242-2248. ISBN: 979-8-4007-1464-1.
Detail

KLHŮFEK, J.; MARCHISIO, A.; MRÁZEK, V.; SEKANINA, L.; SHAFIQUE, M. TransInferSim: Toward Fast and Accurate Evaluation of Embedded Hardware Accelerators for Transformer Networks. IEEE Access, 2025, vol. 13, no. October, p. 177215-177226.
Detail

Responsibility: Vašíček Zdeněk, doc. Ing., Ph.D.