Bachelor's Thesis

Rozpoznávání notových zápisů pomocí neuronových sítí

Final Thesis 3.89 MB

Author of thesis: Bc. Filip Hladík

Acad. year: 2025/2026

Supervisor: Ing. Martin Kišš

Reviewer: Ing. Daniel Bambušek

Abstract:

This thesis addresses optical music recognition of historical music prints with a limited amount of manually annotated data and verifies whether self-training can adapt the model without extensive manual annotation. The implemented model is based on a Transformer encoder-decoder architecture. A metric combining the consistency of forward and reverse decoding with a penalty for structural errors is proposed for pseudo-label selection. Self-training reduced the error rate on the target domain from 12.29 % to 3.87 % SER, an absolute reduction of 8.42 percentage points, without degrading performance on source datasets. The key finding is that what primarily matters for self-training is the quality of pseudo-labels, not their quantity.

Keywords:

optical music recognition, OMR, self-training, pseudo-labeling, deep learning, neural networks, Transformer, encoder-decoder, LMX, historical music prints

Date of defence

16.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. Stručně popište, které části řešení pocházely z projektu PERO a které jste implementoval nebo upravil sám?
  2. Fungovalo by Vaše řešení i na notových zápisech, které nejsou určeny pro piano a mají tedy pouze jednu notovou osnovu? Pokud ne, co by bylo potřeba ve Vašem řešení udělat jinak?
  3. Jak jste testoval správnost přepisu? Jak ji vyhodnocujete?

Language of thesis

Czech

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

doc. Ing. Lukáš Burget, Ph.D. (předseda)
doc. Mgr. Adam Rogalewicz, Ph.D. (místopředseda)
Ing. Libor Polčák, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Martin Žádník, Ph.D. (člen)

Supervisor’s report
Ing. Martin Kišš

Student ve své práci experimentálně ověřil možnosti semi-supervised učení Transformer modelů pro rozpoznávání notových zápisů z historických dokumentů. Student si obstaral datové sady pro experimenty, anotoval testovací sadu cílové domény historických dokumentů, vyhodnotil filtrovací metriky a natrénováním modelů zjišťoval možnosti semi-supervised učení. Vyhodnocení filtrovacích metrik přináší a semi-supervised trénování dle mého názoru zajímavé výsledky, avšak bylo by vhodné ještě dodělat některé experimenty.

Evaluation criteria Verbal classification
Information about assignment

V rámci bakalářské práce se jedná o náročnější zadání, které využívá state-of-the-art modely pro rozpoznávání notových zápisů na bázi modelu Transformer. Práce měla za cíl experimentálně ověřit možnosti těchto modelů při semi-supervised trénování s anotovanými i neanotovanými řádky notových zápisů z historických dokumentů, konkrétně s použitím metody pseudo-labeling a filtrováním řádků s nejistým přepisem.

Student anotoval část cílových neanotovaných dat pro testování, v rámci experimentů vyhodnotil několik metrik pro filtrování strojových přepisů notových zápisů, natrénoval několik modelů na existujících datových sadách a následně na datech z historických dokumentů. Student také implementoval a vyhodnotil několik metod trénování modelů pro zlepšení rozpoznávání notových zápisů a provedl analýzu chybovosti modelů.

Work with literature

Student byl při hledání literatury aktivní a našel si vhodnou literaturu.

Activity during solution, consultations, communication

V zimním semestru byla četnost konzultací průměrná, v letním semestru byla četnost konzultací nadprůměrná a aktivita znatelně vyšší. Student byl při konzultacích aktivní a byl na ně dostatečně připraven.

Activity during completion

Práce byla dokončována s minimálním předstihem. Finální verze práce byla konzultována.

Publication activity, awards

Výsledky získané v rámci této bakalářské práce by mohly mít publikační potenciál, avšak bylo by nejspíše potřeba ještě vyhodnotit dodatečné experimenty týkající se odhadování kvality přepisu a semi-supervised trénování.

Points proposed by supervisor: 88

Grade proposed by supervisor: B

Reviewer’s report
Ing. Daniel Bambušek

Pan Hladík vytvořil funkční řešení pro rozpoznávání pianoformních notových zápisů, jehož výsledky demonstroval v provedených experimentech. Ty podpořil kvalitně sepsanou technickou zprávou. S ohledem na náročnost tématu lze hodnotit výslednou práci jako velmi dobrou.

Evaluation criteria Verbal classification Points
The difficulty of the assignment

Evaluation level: more difficult assignment

Zadání vyžaduje ovládnutí postupů a učiva neuronových sítí, které jsou nad rámec bakalářského studia. Ve srovnání s rozpoznáváním klasického textu je úloha rozpoznávání notových zápisů navíc značně obtížnější, zejména kvůli nutnosti interpretovat nejen jednotlivé grafické symboly, ale také jejich prostorové vztahy, hudební kontext a sémantiku.

Presentation level of the technical report

Text práce je přehledný, dodržuje logickou strukturu, neobsahuje zbytečnou vatu a dobře se čte. Zásadní problém je v nejasném vysvětlení vlastní implementace a vymezení autorského přínosu vůči projektu PERO, ze kterého práce vychází a jehož existující model pravděpodobně využívá. Z textu není jasné, co a do jaké míry bylo převzato, co a jak autor modifikoval a co je jeho vlastní implementace. Z hlediska prezentační úrovně by čtenáři místo seznamu obrázků prospěl daleko více seznam zkratek, kterých je v textu větší množství.

70
Formal preparation of a technical report

Text práce je z typografického a jazykového hlediska nadstandardní a prakticky nemám co vytknout.

90
Realisation output

Autor vytvořil funkční řešení pro rozpoznávání pianoformních notových výřezů s výstupem ve formátu LMX. Připravil vlastní datovou kolekci historických notových zápisů z digitální knihovny Kramerius, využil existující model vycházející z projektu PERO a implementoval sadu podpůrných skriptů pro self-training, přípravu dat, metrik a vizualizací. Provedené experimenty dobře ukazují přínos reverzní augmentace, selektivního výběru pseudo-anotací a dalších iterací self-trainingu, což se promítlo do výrazně nižší chybovosti na datech Kramerius. V odevzdaných souborech chybí zdrojové kódy použitého modelu, což může být pochopitelné, pokud implementace pochází z neveřejného projektu PERO. V přiloženém readme a technické zprávě to ale mělo být jasně popsáno.

85
Usability of results

Dosažené výsledky mohou sloužit jako dobrý základ pro další rozvoj a integraci do komplexního řešení pro rozpoznávání celých partitur.

The extent to which the requirements of the assignment have been met

Evaluation level: assignment fulfilled

Extent of the technical report

Evaluation level: is within the usual extent

Work with literature

Autor cituje 26 zdrojů, z nichž je naprostá většina relevantních a nových vědeckých prací k řešenému tématu z kvalitních fór a periodik.

90
Topics for thesis defence:
  1. Stručně popište, které části řešení pocházely z projektu PERO a které jste implementoval nebo upravil sám?
  2. Fungovalo by Vaše řešení i na notových zápisech, které nejsou určeny pro piano a mají tedy pouze jednu notovou osnovu? Pokud ne, co by bylo potřeba ve Vašem řešení udělat jinak?
Points proposed by reviewer: 85

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová