Zadání hodnotím jako obtížné. Práce vyžadovala nastudování aktuálních trendů ve vývoji transformerových sítí a mechanismů pozornosti. Cílem bylo navrhnout způsob, jak automatizovaně vytvářet mechanismus pozornosti a vyhodnotit jej při nasazení do modelu, s důrazem na lepší kompromis mezi ztrátou přesnosti a výpočetní (hardwarovou) náročností. Tento cíl se studentovi podařilo splnit. S dosaženými výsledky jsem spokojen. Závěry o přenositelnosti do reálné praxe jsou pochopitelně omezené vzhledem k výpočetní náročnosti uvažovaných modelů, což ovšem nepovažuji za nedostatek, jelikož práce představuje obecně funkční metodologii.

Není známa. Navržený systém nicméně může posloužit jako základ pro publikaci zaměřenou na detailní výkonnostní analýzu nasazení sítí v hardwarových akcelerátorech pomocí simulátorů inference.

Student byl během řešení aktivní, pravidelně své řešení konzultoval, na konzultace chodil připraven a reflektoval mé připomínky. Pozitivně hodnotím jeho schopnost samostatně strukturovat postup řešení a orientovat se v problému. Komunikaci hodnotím kladně.

Evaluation level: zadání splněno a práce obsahuje podstatná rozšíření

Zadání bylo splněno v plném rozsahu. Z pohledu provedených experimentů a získaných znalostí je významně překračuje. Experimentální ověření je systematické, podrobné a převyšuje běžné diplomové práce.

Práce je logicky strukturovaná, kapitoly na sebe navazují. Kapitoly popisující návrh vlastního řešení a experimentální vyhodnocení jsou zpracovány výborně. Kapitola popisující mechanismy pozornosti mohla být zpracována pečlivěji, jak z pohledu srozumitelnosti výkladu, tak i technicky (význam některých použitých symbolů není vysvětlen). Není zřejmé, proč je velký prostor věnován evoluční strategii (kap. 4.1), která není následně využita. Naopak postrádám shrnutí principů genetického programování (GP), zejména grafově orientovaného GP, které diplomat používá při implementaci. Podrobněji by mohl být popsán navržený operátor křížení (zejména pro složitější rodičovské grafy). Místy se autor vyjadřuje nepřesně, např. na str. 4: Co jsou „stochastické problémy“? Platí, že „jsou upravovány jednotlivé váhy ve směru gradientu chybové funkce“ nebo proti směru? Co je „hlučná fitness“ na str. 41? Popis experimentálního vyhodnocení je detailní, bohatý a vědecky systematický. Experimenty byly provedeny s využitím 10 testovacích úloh. Kromě dosažených výsledků jsou prezentovány i statistické testy ukazující, která nastavení algoritmu jsou přínosná a která ne. Dále jsou prezentovány konvergenční křivky i výsledné Pareto fronty.

Diplomant využívá relevantní zdroje a řádně se na ně odkazuje. Pro odkazy však používá nestandardní závorky (). Mnoho odkazů čerpá z nerecenzovaného archivu arxiv.org, i když článek byl publikován na zavedené konferenci, např. odkaz [1] je Proc. of the 2023 Conference on Empirical Methods in Natural Language Processing.

Jedná se o práci výzkumného charakteru, která by se po doplnění mohla stát základem vědeckého článku.