Master's Thesis

Machine Learning in Digital Circuit Design

Final Thesis 1.72 MB

Author of thesis: Ing. Ondřej Galeta

Acad. year: 2025/2026

Supervisor: prof. Ing. Lukáš Sekanina, Ph.D.

Reviewer: doc. Ing. Vojtěch Mrázek, Ph.D.

Abstract:

Cartesian Genetic Programming (CGP) for approximate circuit design suffers from poor scalability due to expensive evaluations of candidate solutions. This work proposes a transformer-guided mutation operator to accelerate the design of approximate multipliers. A transformer model based on Bidirectional Encoder Representations from Transformers (BERT) architecture, trained on thousands of multipliers from the library EvoApproxLib, predicts where and how the circuit should be mutated. The approach is supported by dataset filtering, augmentation, an engineered loss function, and a fallback to standard mutation. Results on evolutionary design of approximate circuits show faster convergence and improved solutions over standard CGP for some error thresholds. The approach creates new, possibly novel, approximate 8-bit multipliers and demonstrates the potential of combining evolutionary design with machine learning.

Keywords:

machine learning, Cartesian Genetic Programming, transformer, training, augmentation, approximate circuit design, multiplier, BERT, hardware optimization

Date of defence

25.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Jak se lišila reálná hodnota WCE a prahová hodnota (epsilon) navržených obvodů prezentovaných v obrázku 7.6?
  2. Jakým způsobem jste prováděl porovnání?
  3. Jaká je přenositelnost řešení? Bylo by možné jej použít pro jiné problémy?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Embedded Systems (NEMB)

Composition of Committee

doc. Ing. Zdeněk Vašíček, Ph.D. (předseda)
doc. Ing. Michal Bidlo, Ph.D. (místopředseda)
doc. Mgr. Adam Rogalewicz, Ph.D. (člen)
Ing. Marcela Zachariášová, Ph.D. (člen)
doc. Dr. Ing. Otto Fučík (člen)
Ing. Josef Strnadel, Ph.D. (člen)

Diplomant prozkoumal nové téma vynikajícím způsobem. Vzhledem k náročnosti tématu, množství odvedené práce, dosaženým výsledkům, solidní technické zprávě a publikačním výstupům hodnotím tuto práci stupněm výborně. Dále práci navrhuji na vhodné ocenění.

Evaluation criteria Verbal classification
Information about assignment

Jedná se o náročnější zadání výzkumného charakteru, které bylo zpracováno způsobem, který vedl k původním vědeckým výsledkům. Práce navazuje na výzkumnou činnost realizovanou v oblasti evolučního návrhu aproximativních obvodů výzkumnou skupinou EvoAIHW na FIT. Diplomant do evolučního návrhu zabudoval natrénovanou transformerovou neuronovou síť pro predikci mutace kandidátních násobiček.

Activity during solution, consultations, communication

Implementace byla dokončena v předstihu. Obsah předfinální verze technické zprávy byl konzultován, mé připomínky byly zapracovány.

Publication activity, awards

Výsledky prezentované v diplomové práci byly přijaty k publikaci na IEEE World Congress on Computational Intelligence – IEEE Congress on Evolutionary Computation (ICORE B). Dále byly výsledky publikovány na fakultní konferenci Excel 2026, kde diplomant získal Cenu odborného panelu.

Work with literature

Diplomant samostatně vyhledával odbornou literaturu a využíval ji.

Activity during solution, consultations, communication

Diplomant konzultoval dle potřeby, v posledních měsících intenzivně. Na konzultace byl výborně připraven a samostatně navrhoval vhodná pokračování řešení projektu.

Points proposed by supervisor: 99

Grade proposed by supervisor: A

Student v této práci představil kompletní vědecké dílo, které svým způsobem posouvá aktuální stav poznání. Využití strojového učení v oblasti evolučního návrhu obvodů je téma velmi řešené v rámci komunity automatizovaného návrhu obvodů a tato práce představuje jeden z dalších kroků vedoucí ke zefektivnění návrhu. Vzhledem ke kvalitě textu práce, implementace, vyhodnocení i výstupům na přehlídce EXCEL@FIT i konferenci WCCI  doporučuji tuto práci hodnotit stupněm A - výborně a navrhuji tuto práci k ocenění.

Evaluation criteria Verbal classification Points
The extent to which the requirements of the assignment have been met

Evaluation level: assignment fulfilled

Student splnil všechny body zadání a prezentuje kompletní, ucelené řešení.

Extent of the technical report

Evaluation level: is within the usual extent

Presentation level of the technical report

Práce je logicky strukturována a rozsahy jednotlivých kapitol jsou adekvátní. Autor na rozumné úrovni vysvětluje aspekty návrhu digitálních obvodů, evolučních algoritmů i techniky strojového učení. Oceňuji, že teoretický úvod obsahuje všechny důležité informace, ale nezabíhá do zbytečných detailů.

95
Formal preparation of a technical report

Práce je psaná velmi dobrou angličtinou a neobsahuje závažnější jazykové či typografické chyby.

95
Work with literature

Autor ve své práci čerpal ze 42 zdrojů, převážně z aktuální vědecké literatury. Při návrhu metodologie navazuje na aktuální stav poznání a opravdu cílí na zatím neprozkoumané části evolučního návrhu obvodů.

95
Realisation output

Realizační výstup představuje novou implementaci Kartézského genetického programování rozšířené o mutační operátor řízený strojovým učením, v tomto případě transformerovou sítí. 

Autor se při implementaci soustředil na její efektivnost, proto časově simulaci obvodů nutnou při každé evaluaci akceleroval na úrovni vektorizace pomocí AVX instrukcí. Podobně se snažil zlepšit návrhový systém tak, aby byl co nejefektivnější.

Kromě toho, že je vlastní aplikace efektivní a funkční, práce ukazuje velmi kvalitní analýzu výsledků. Ukazuje přesně, kdy jeho metoda funguje dobře, ale i kde má své limity.

100
Usability of results

Práce je využitelná v celém rozsahu, o čemž svědčí i přijetí jádra práce k publikaci a prezentaci na prestižní konferenci WCCI 2026. Na tyto výsledky je možné navázat další práci v rámci výzkumné skupiny EvoAI.

The difficulty of the assignment

Evaluation level: very difficult assignment

Zadání hodnotím jako značně obtížné, jelikož se jedná o téma, které není v literatuře zatím řešeno a autor musel přijít s vlastním způsobem řešení. Další obtížnost plyne z toho, že zadání je poměrně volné a student musel zvolit vlastní způsob integrace strojového učení do návrhu digitálních obvodů.

Topics for thesis defence:
  1. Jak se lišila reálná hodnota WCE a prahová hodnota (epsilon) navržených obvodů prezentovaných v obrázku 7.6?
Points proposed by reviewer: 100

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová