Přístupnostní navigace
E-application
Search Search Close
Master's Thesis
Author of thesis: Ing. Martin Pavella
Acad. year: 2024/2025
Supervisor: prof. Ing. Lukáš Sekanina, Ph.D.
Reviewer: Ing. Vojtěch Mrázek, Ph.D.
PyTorch has become the preferred framework for developing deep neural network (DNN) models. However, the development of drivers and other SW support for utilizing HW accelerators on edge devices for PyTorch models, has not yet caught up. The state of the art solution is to convert PyTorch models to the LiteRT format, for which there is sufficient driver support. The limitation of this approach is that not every model is convertible to LiteRT. These problematic models therefore cannot utilize HW accelerators, and often have to run on the CPU. This thesis proposes a solution based on partitioning of PyTorch models into submodels. Some submodels will be converted into the LiteRT format, and the unconvertible ones will remain in PyTorch. This allows the model to at least partially utilize the HW accelerators. The thesis also defines a new file format for storing the segmented hybrid models in a single file, as well as a runtime engine capable of running efficient inference of hybrid models on edge devices.
deep neural networks, hardware accelerators, edge devices, model partitioning, hybrid model, PyTorch, ONNX, LiteRT, TFLite
Date of defence
26.06.2025
Result of the defence
Defended (thesis was successfully defended)
Grading
A
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
Topics for thesis defence
Language of thesis
English
Faculty
Fakulta informačních technologií
Department
Department of Computer Systems
Study programme
Information Technology and Artificial Intelligence (MITAI)
Specialization
Machine Learning (NMAL)
Composition of Committee
doc. Ing. Lukáš Burget, Ph.D. (předseda) prof. Dr. Ing. Jan Černocký (člen) doc. Ing. Vladimír Janoušek, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. Jaroslav Rozman, Ph.D. (člen) Ing. František Grézl, Ph.D. (člen)
Supervisor’s reportprof. Ing. Lukáš Sekanina, Ph.D.
Obtížné zadání z firemního prostředí bylo vyřešeno inovativním zbůsobem. Je vysoce pravděpodobné, že vytvořené řešení bude využito ve firmě při akceleraci DNN v hardware.Vzhledem k dosaženým výsledkům a kvalitní technické zprávě navrhuji hodnocení stupněm výborně. Současně také diplomovou práci doporučuji vhodně ocenit.
Téma bylo zadáno externí firmou. Jednalo se o nadprůměrně náročné zadání, které vyžadovalo detailní pochopení problematiky efektivní implementace hlubokých neuronových sítí (DNN) v hardware a možností návrhových nástrojů. Zadání bylo zcela splněno. Vznikl v praxi použitelný nástroj do značné míry řešící nekompatibilitu různých nástrojů a formátů pro vývoj DNN na různých akcelerátorech DNN.
Diplomová práce byla dokončena v dostatečném předstihu a její obsah byl dostatečně konzultován.
Předpokládá se využití vytvořeného nástroje v rámci firmy, která projekt zadala.
Diplomant aktivně získával a využíval vhodné studijní materiály.
Diplomant byl během řešení nadstandardně aktivní, dodržoval dohodnuté termíny a samostatně řešil dílčí části projektu. Na konzultace byl výborně připraven.
Grade proposed by supervisor: A
Reviewer’s reportIng. Vojtěch Mrázek, Ph.D.
Tato práce představuje nový nástroj pro efektivní výpočet inference neuronové sítě. Student vytvořil i s vhodnou kombinací existujících nástrojů ucelenou aplikaci, která by mohla najít uplatnění i u průmyslového partnera. Proto navrhuji celkové hodnocení stupněm A - výborně a doporučuji komisi zvážit ocenění této práce.
Evaluation level: zadání splněno
Evaluation level: je v obvyklém rozmezí
Práce je psaná srozumitelně a je logicky strukturovaná. Pouze bych ocenil větší využívání diagramů pro vysvětlení toho, co je jádrem práce a kde je její přidaná hodnota.
Práce je psaná anglickým jazykem a je psaná na dobré úrovni. Z typografické a formální stránky je práce bez závažnějších nedostatků.
Student ve své práci využívá 78 zdrojů. Přestože se jedná z velké části o implementační práci, student čerpal z aktuálních vědeckých poznatků z oblasti efektivní inference neuronových sítí. Všechny použité zdroje jsou z mého pohledu relevantní a správně použité.
Cílem práce je vytvořit nástroj, který z obecného popisu sítě v ONNX formátu vytvoří samostatné segmenty pro CPU a akcelerační jednotku NPU. Při této transformaci se musí jednotlivé formáty konvertovat a součástí implementace je i tvorba přechodových mezikroků pro efektivní komunikaci mezi oběma platformami.
Autor neprezentuje pouze demonstrátor navrženého přístupu, ale ucelený proces, který řeší akceleraci hybridní sítě (takové, jejíž část není možné akcelerovat na NPU) od začátku do konce. Mimo jiné se zaměřuje i na správné využívání zdrojů, maximálního sdílení předkompilovaných a transformovaných dat při opakovaném spouštění a podobně.
Vlastní práce mi byla předvedena i na používané desce NXP a je funkční. V evaluaci se autor se zaměřil na jednu komplexní síť do detailu, což však nevidím jako problém. Všechny parametry byly správně vyhodnoceny. Mírnou rezervu vidím ve způsobu prezentace výsledků, které by mohlo více využívat grafickou formu a lépe mezi sebou porovnávat.
Student ve své práci řeší automatický nástroj, který řeší aktuální problémy zpracování neuronových sítí a je ve svých možnostech unikátní. Věřím, že nástroj najde své uplatnění i pro větší okruh uživatelů.
Evaluation level: značně obtížné zadání
Zadání hodnotím jako značně obtížné, jelikož student řešil aktuální problémy efektivního zpracování neuronových sítí na vestavěných systémech. Největší komplikací je nutnost používání a ladění používaných nástrojů, které jsou zatím nedokonalé.
Grade proposed by reviewer: A
Responsibility: Mgr. et Mgr. Hana Odstrčilová