Master's Thesis

Large Language Models in Approximate Circuit Design

Final Thesis 19.67 MB

Author of thesis: Ing. Martin Tomašovič

Acad. year: 2025/2026

Supervisor: prof. Ing. Lukáš Sekanina, Ph.D.

Reviewer: doc. Ing. Vojtěch Mrázek, Ph.D.

Abstract:

Approximate circuits are an effective alternative to accurate circuits. They offer lower energy consumption, lower latency, and lower area at the cost of controlled error. In this work, we specifically focus on the design of 8-bit approximate multipliers using large language models (LLMs), which we combine with evolutionary algorithms. The work researches the use of LLMs for circuit generation across different settings. We selected a model, fine-tuned it, and studied its properties. Then we proposed algorithms that call an LLM in a cycle or as part of a multiobjective evolutionary algorithm, which improve not only the success rate of generating valid circuits but also their quality. We propose a coevolution approach. It evolves a population of circuits and a population of prompt templates that control LLM. Conducted experiments show that the proposed method can find circuit designs with a better trade-off between error and area estimates than existing circuits in the EvoApproxLib library.

Keywords:

large language models, approximate circuit, circuit design, few-shot prompting, fine-tuning, evolution

Date of defence

25.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Jaké jazykové modely jste zkoušel a bral jste v potaz i velikosti jejich kontextového okna?
  2. Jak jsou na tom LLM v těchto specializovaných doménách?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Machine Learning (NMAL)

Composition of Committee

prof. Dr. Ing. Jan Černocký (předseda)
prof. Ing. Hynek Heřmanský, Dr. Eng. (místopředseda)
prof. RNDr. Alexandr Meduna, CSc. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)
Ing. Martin Fajčík, Ph.D. (člen)

Diplomant prozkoumal nové téma vynikajícím způsobem. Vzhledem k náročnosti tématu, množství odvedené práce, dosaženým výsledkům a publikaci přijaté na PPSN 2026 hodnotím tuto práci stupněm výborně. Dále práci navrhuji na vhodné ocenění.

Evaluation criteria Verbal classification
Information about assignment

Jedná se o náročnější zadání výzkumného charakteru, které bylo zpracováno způsobem, který vedl k původním vědeckým výsledkům. Práce navazuje na výzkumnou činnost realizovanou v oblasti evolučního návrhu aproximativních obvodů výzkumnou skupinou EvoAIHW na FIT.  Diplomant do evolučního návrhu zabudoval velký jazykový model, který automatizovaně navrhuje a vyhodnocuje úpravy implementace násobiček.

Activity during solution, consultations, communication

Implementace byla dokončena v předstihu. Obsah předfinální verze technické zprávy byl konzultován, mé připomínky byly zapracovány.

Publication activity, awards

Výsledky prezentované v diplomové práci byly přijaty k publikaci na konferenci Parallel Problem Solving from Nature 2026 (ICORE A). Dále byly výsledky publikovány na fakultní konferenci Excel 2026.

Work with literature

Diplomant samostatně vyhledával odbornou literaturu a využíval ji.

Activity during solution, consultations, communication

Diplomant konzultoval dle potřeby, v posledních měsících intenzivně. Na konzultace byl výborně připraven a samostatně navrhoval vhodná pokračování řešení projektu.

Points proposed by supervisor: 95

Grade proposed by supervisor: A

Student vytvořil komplexní návrhový systém pro automatickou aproximaci pomocí jazykových modelů. Tento systém ukázal, že je v některých bodech kompetitivní s jinými metodami a dokonce i několik nových řešení vytvořil. Proto i přes drobné nedostatky v prezentační stránce navrhuji tuto práci hodnotit souhrnným hodnocením A - výborně.

Evaluation criteria Verbal classification Points
The extent to which the requirements of the assignment have been met

Evaluation level: assignment fulfilled, and the work contains significant extensions

Práce splňuje všechny body zadání. Navíc vidím podstatné rozšíření v tom, že autor vlastní model LLM sám dotrénovával a také adaptivně upravoval tzv. "prompty" pro doladění obvodů.

Extent of the technical report

Evaluation level: is within the usual extent

Presentation level of the technical report

Členění práce je v pořádku a zejména popis existujících přístupů má dobrou strukturu i obsah. Také ve čtvrté a páté kapitole je popis navrženého řešení v pořádku, byť přehlednost jednotlivých diagramů není největší. Problém je však popis vlastních výsledků. Autor není konzistentní v popisech grafů, někdy uvádí zavádějící popis os (např. obrázek 6.1) a celkově práce obsahuje až zbytečně detailní výsledky, ve kterých se pak čtenář ztrácí. Příkladem může být popis datasetů (obr. 6.18), velké množství bodů a nevhodná volba barev (6.6) či pomocné názvy místo jednotné terminologie (obr. 6.4).

75
Formal preparation of a technical report

Práce je psaná anglicky, je spisovně a neobsahuje závažnější chyby. Výtku mám vůči diagramům, které jsou velmi malé a nepřehledné, nejednotnosti velikosti grafů a velkému množství bodů prezentovaných ve výsledných bodových grafech.

80
Work with literature

Autor se ve své práci odkazuje na 35 vědeckých článků, vybral vhodné zdroje a tyto zdroje řádně v práci využívá a cituje.

95
Realisation output

Autor ve své práci neprezentuje minimalistické řešení, ale kompletní dílo shrnující tuto problematiku z celé řady pohledů. Principiálně aplikace funguje tak, že se zadá požadovaná charakteristika a LLM se snaží vygenerovat obvody s takovými parametry. Oceňuji, že autor implementoval velké množství vylepšení, jako je např. finetuning jazykového modelu, adaptivní úprava dotazů i porovnání vůči aktuálním výsledkům.

Student se musel vypořádat s výpočetní náročností, což vyřešil jak počítáním na vzdálených distribuovaných systémech, tak i optimalizací na úrovni instrukcí. Všechny kódy jsou řádně komentovány a jsou použitelné i pro další práci.

100
Usability of results

Autor přišel s unikátním řešením, které v některých bodech zlepšilo (doplnilo) další řešení do Pareto front. Jedná se jiný pohled na metodiku, která je používaná v aktuální literatuře a o vhodnosti tohoto řešení svědčí i přijetí této práce na konferenci PPSN (Core-A).

The difficulty of the assignment

Evaluation level: very difficult assignment

Zadání hodnotím jako značně obtížné, jelikož se jedná o téma, které není v literatuře zatím řešeno a autor musel přijít s vlastním způsobem řešení. Další obtížnost plyne z toho, že zadání přímo nespecifikuje způsob integrace LLM do návrhu, ale autor jej musel identifikovat sám.

Topics for thesis defence:
  1. Jaké jazykové modely jste zkoušel a bral jste v potaz i velikosti jejich kontextového okna?
Points proposed by reviewer: 92

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová