Bachelor's Thesis

Utilizing locally-hosted language models for semantic planning of high-level behavior for a mobile robot

Final Thesis 8.88 MB Appendix 1019.44 kB

Author of thesis: Bc. Petr Cupal

Acad. year: 2025/2026

Supervisor: Ing. Tomáš Horeličan

Reviewer: Ing. Stanislav Svědiroh

Abstract:

This bachelor's thesis is dedicated to the design of a system that is able to interpret commands in natural language into a sequence of autonomously realizable actions that the robot will perform using the Route Server tool. The thesis first describes the software components necessary for building a functional system. It then explains the principles of large language models (LLM) and justifies the choice of a specific inference environment and the model itself. The conclusion of the theoretical part is devoted to the structure of the route graph and the design of partial robot operations. The practical part deals with the implementation of the system itself, verification of its functionality on a demonstration task and evaluation of its reliability. At the end of the thesis, the possibilities of real-world application, current shortcomings and potential innovations of the proposed solution are discussed.

Keywords:

Mobile robot, Large language models, ROS 2, Route Server, Navigation, Route graph, Dispatcher

Date of defence

17.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaCznamka

Grading

C

Process of defence

Student obhájil bakalářskou práci s výhradami. V rámci obhajoby dokázal přesvědčit komisi o správnosti svých postupů a navrženého řešení. V průběhu odborné rozpravy reagoval na dotazy oponenta. V rámci obecné diskuse byl dotázán na testování LLM (large language modelu) na PC, zda zvažoval i embedded řešení LLM na robotu a zda dotrénoval model/kde získává LLM znalosti o robotu. Student zodpověděl, že LLM nemá apriorní informace a dovysvětlil roli LLM jakožto jazykového překladače.

Language of thesis

Czech

Faculty

Department

Study programme

Automation and Measurement (BPC-AMT)

Composition of Committee

prof. Ing. Roman Prokop, CSc. (předseda)
prof. Ing. Pavel Václavek, Ph.D. (místopředseda)
Ing. Peter Honec, Ph.D. (člen)
doc. Ing. Václav Jirsík, CSc. (člen)
doc. Ing. Václav Kaczmarczyk, Ph.D. (člen)
Ing. Stanislav Klusáček, Ph.D. (člen)

Supervisor’s report
Ing. Tomáš Horeličan

Práca je z formálneho hľadiska na vysokej úrovni a neobsahuje takmer žiadne očividné preklepy. Je prehľadne a logicky členená do deviatich kapitol. Teoretické časti zrozumiteľne popisujú tie najpodstatnejšie aspekty, praktické časti detailne vysvetľujú implementované komponenty a väzby medzi nimi. Svojím rozsahom s prehľadom spĺňa odporúčaný počet strán. Celkový rozsah textu od úvodu po záver tvorí 42 strán.

Študent pracuje s literatúrou v rozumnej miere. Vzhľadom na charakter práce využíva najmä technické dokumentácie ale tam, kde je to vhodné dopĺňa odborné publikácie.

Študent po celú dobu pracoval samostatne a sám pravidelne chodil na konzultácie, kde vždy ukázal další pokrok vo svojej práci. Oceniť musím najmä jeho schopnosť samostatne pochopiť a zaintegrovať časti rozsiahlých nástrojov, ktoré sú stále v aktívnom vývoji a menajú vždy garantované a stabilné funkcie. Od vedúceho dostával iba základné koncepčné požiadavky a všetky detaily implementácie a problémy študent vždy vyriešil sám.

Ako jediný nedostatok môžem hodnotiť to, že sa nepokúsil rozšíriť experimenty o viacej dostupných verzii jazykových modelov v rátane rôznych úrovní kvantizácie. Tým zároveň mohol obohatiť záverečné vyhodnotenie o väčšiu rôznorodosť.

Praca jednoznačne svedčí o bakalárskych schopnostiach študenta a hodnotím ju známkou B 88. Points proposed by supervisor: 88

Grade proposed by supervisor: B

Reviewer’s report
Ing. Stanislav Svědiroh

Předložená bakalářská práce se zabývá návrhem a implementací systému, který interpretuje příkazy zadané v přirozeném jazyce a převádí je na sekvenci úkonů vykonatelných mobilním
robotem prostřednictvím nástroje Route Server z projektu Nav2. Téma hodnotím jako aktuální a nadprůměrně náročné na šíři použitých technologií, neboť vyžaduje propojení frameworku
ROS 2, navigačního frameworku Nav2, lokálně provozovaného velkého jazykového modelu a simulačního prostředí do jednoho funkčního celku.

Zadání práce považuji za splněné ve všech sedmi bodech. Práce je logicky členěna od teoretických základů ovládání a simulace, přes velké jazykové modely a parametrizaci route grafu,
až po návrh dílčích operací, vlastní návrh systému a jeho experimentální ověření.

Po obsahové stránce oceňuji zejména praktickou část. Student nezůstal u pouhého spuštění existujících nástrojů, ale vytvořil funkční systém s vlastním pluginem pro signalizaci
operací a rozumně navrženou vrstvou dispečera řízeného jazykovým modelem (využití volání nástrojů, nulová teplota pro determinismus, dohledávání nejbližší pojmenované lokace a filtr
rozdělující chybně sloučené složené příkazy). Za nejcennější považuji samostatné vyřešení problému s otáčením robota na místě (kap. 6.1.4), kdy student správně identifikoval
omezení Route Serveru na pevně daném grafu a navrhl generování zahuštěné trasy. To svědčí o schopnosti porozumět použitému nástroji a tvořivě jej rozšířit.

Slabší stránkou práce je teoretická kapitola o velkých jazykových modelech. Problematika kvantizace je sice formálně odvozena, v praktické části však zůstává nevyužita — systém
pracuje s výchozím modelem bez jakéhokoli porovnání úrovní kvantizace či jejich dopadu na paměťovou náročnost, rychlost inference a kvalitu plánování. Vzhledem k použitému hardwaru
bez dedikované grafické karty a k přiznané latenci v řádu desítek sekund by právě takové měření bylo přínosné, v práci však chybí.

Rovněž experimentální vyhodnocení považuji za poměrně útlé. Test opakovatelnosti ověřuje jedinou misi opakovanou desetkrát; při nulové teplotě modelu je shodný výsledek do značné
míry očekávatelný a vypovídá spíše o stálosti než o věcné správnosti plánování napříč různě formulovanými zadáními. Test odolnosti vůči chybám uživatele vychází jen ze dvou vzorků
na typ chyby, což neumožňuje statisticky podložené závěry.

Po formální stránce je práce na dobré úrovni, vhodně doplněná vývojovými diagramy, výpisy kódu a obrazovou dokumentací z běhu systému. Student v práci transparentně diskutuje
současné nedostatky řešení i možnosti dalšího rozvoje.

Práci doporučuji k obhajobě a hodnotím ji stupněm B (83 bodů). Topics for thesis defence:
  1. V kapitole 3.1 popisujete teorii kvantizace, prakticky však používáte výchozí model llama3.1:latest. Jakou úroveň kvantizace tento model reálně používá a jak by volba jiné úrovně ovlivnila latenci a spolehlivost plánování na vámi použitém hardwaru bez dedikované GPU?
  2. Uvádíte, že generování plánu může trvat desítky sekund. Můžete uvést konkrétní naměřené doby odezvy pro misi z kapitoly 7 a odhadnout, jak by se změnily při přesunu inference na server s GPU?
  3. Test opakovatelnosti (Tab. 8.1) ověřuje jedinou misi. Jak jste ověřoval věcnou správnost vygenerovaného itineráře (nikoli jen jeho stálost) a jak by podle vás vypadala úspěšnost u širší sady různě formulovaných misí?
  4. Funkce vygeneruj_trasu generuje první úsek trasy přímkou z aktuální pozice robota do prvního uzlu, tedy mimo hrany grafu a bez kontroly kolizí — jak je v tomto úseku ošetřeno riziko nárazu do překážky?
Points proposed by reviewer: 83

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová