Studentovi byla poskytnuta základní literatura, zbytek si aktivně obstarával sám.

Finální verze práce konzultována v podstatě nebyla.

Výhrady mám ke struktuře a logickému členění kapitol. Druhá kapitola se věnuje teoretickému rozboru, kde autor kombinuje historický kontext matrik, systém DEMoS, velké jazykové modely a zpracování přirozeného jazyka. Hierarchie podkapitol by ale měla být logičtější. Témata jako LLM a fine-tuning jsou uvedeny jako samostatné podkapitoly první úrovně, ačkoliv by bylo vhodnější zařadit je jako podkapitoly nižší úrovně pod obecnější technologický základ. Metodologicky nesprávné je také řazení, kdy autor představuje konkrétní komerční API dříve než samotný obecný princip velkých jazykových modelů. Další výhrady mám k popisu vlastní práce studenta, který je příliš obecný. Z textu sice plyne, že s využitím různých jazykových modelů a nástrojů zpracovával data z OCR, ale chybí konkrétní specifikace vstupního i výstupního datového formátu a také popis toho, jak se výsledky předávají do systému DEMoS. Zásadní nedostatek spatřuji ve vyhodnocení výsledků. Evaluace využívá metriky Precision, Recall a F1, ale v textu chybí vysvětlení, jak byly v tomto kontextu konkrétně aplikovány. Tyto metriky se primárně používají u binární klasifikace a z práce není jasné, jakým způsobem se posuzovala shoda výsledné komplexní struktury matričního záznamu vůči ground truth. Další výtky směřuji k chybějícímu vysvětlení některých metod. Například Jaro-Winklerova metrika by si zasloužila bližší představení a totéž platí pro definici pravidel při sémantické analýze. Tato pravidla jsou v práci spíše šablonou pro předpokládanou strukturu záznamu a čtenář musí jejich přesný význam z uvedeného kódu pouze domýšlet.

Realizační výstup měl podle zadání umožnit zpracování záznamů získaných OCR metodou z matričních knih a sémanticky strukturovaná data předat do systému DEMoS. V sučasném stavu však aplikace, jak se zdá, umožňuje pouze vyhodnocení přesnosti zpracování. Proto hodnotím tento bod jako podprůměrný.

Evaluation level: assignment fulfilled with major reservations

Zadání nylo ve své podstatě splněno. Použití více prostředků, jak jazykových modelů, tak systémů pro sémantickou analýzu, je v pořádku. V zadání je však explicitně uvedeno, že by systém měl být zakomponován do systému DEMoS, o čemž v textu není žádná zmínka. Předpokládám, že vzniklé struktury nejsou příliš obtížně přenositelné do tohoto systému, ale tento krok měl student v práci jasně uvést a popsat.

Student v práci uvádí celkem 22 zdrojů. Ty jsou zvoleny vhodně k tématu a v textu řádně citovány. Nezjistil jsem žádné prohřešky proti citační etice. Vlastní přínos studenta je v práci patrný a zřetelně oddělený od teoretické části.