Master's Thesis

Signal representations suitable for deep learning

Final Thesis 5.56 MB Appendix 27.73 kB

Author of thesis: Ing. Vojtěch Rezek

Acad. year: 2025/2026

Supervisor: Ing. Ondřej Mokrý, Ph.D.

Reviewer: Ing. Michal Švento

Abstract:

This thesis addresses the problem of reconstructing degraded audio signals using deep
learning, with a primary focus on how different time-frequency signal representations
affect reconstruction quality. Three neural network models were implemented and
compared, each employing a distinct representation: Short-Time Fourier Transform
(STFT), Wavelet Transform, and Constant-Q Transform (CQT). The models were trained
and evaluated on the real-world IRMAS dataset of musical recordings, with two types
of degradation simulated: saturation and additive noise. Results were assessed using
both objective and perceptual metrics (SNR, ODG, PSM). The experiments demonstrated
that the choice of signal representation has a substantial and measurable impact on
reconstruction quality -- differences between configurations exceed 6~dB in SNR and
span an entire category on the perceptual ODG scale. The best perceptual quality for
noise reduction was achieved by a wavelet configuration with ODG~$-0.382$,
corresponding to the \textit{just noticeable degradation} category on the PEMO-Q
scale. The thesis also contributes a custom CQT processing pipeline for MATLAB and
a block segmentation strategy enabling efficient training on standard CPU hardware
without GPU acceleration.

Keywords:

signal reconstruction, deep learning, neural networks, time-frequency analysis, STFT, wavelet transform, CQT, audio processing, audio restoration, psychoacoustics

Date of defence

11.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaEznamka

Grading

E

Process of defence

Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil diplomovou práci s výhradami a odpověděl na otázky členů komise a oponenta. Otázky: 1) V texte popisujete časovú náročnosť pri trénovaní, no nepopisujete aký je čas na priechod sieťou po natrénovaní v tzv. inferencii, prosím doplňte analýzu predložených sietí v inferencii. 2) V kapitole 5. 2. predstavujete jednoduchý model s STFT, v ďalších kapitolách „zložitejšie“ modely, ktoré sú ale veľmi podobných rozmerov. Vysvetlite, prečo ste použili tak malé architektúry sietí. 3) Uveďte počet učiteľných parametrov vašich sietí a vysvetlite, či sú všetky vrstvy učiteľné. 4) Vysvětlete pojem ERBlet.

Language of thesis

Czech

Faculty

Department

Study programme

Audio Engineering (MPC-AUD)

Specialization

Audio Production and Recording (AUDM-ZVUK)

Composition of Committee

Ing. Jaromír Mačák, Ph.D. (člen)
Doc.Ing.MgA. Ondřej Urban, Ph.D. (předseda)
doc. Ing. Jiří Schimmel, Ph.D. (místopředseda)
RNDr. Lubor Přikryl (člen)
Ing. Ondřej Mokrý, Ph.D. (člen)

Supervisor’s report
Ing. Ondřej Mokrý, Ph.D.

Předložená diplomová práce řeší problematiku volby reprezentace audio signálu jako vstupní a výstupní vrstvy neuronových sítí.

Z hlediska splnění zadání je práce hraniční, konkrétně mám následující výhrady:
1) Probíhá textová diskuze výsledků v porovnání s jinými metodami (str. 76 a 77), numerické porovnání však není provedeno, přestože alespoň některé citované práce mají veřejně dostupné zdrojové kódy (navíc pro MATLAB) a numerické vyhodnocení na vlastních nahrávkách by bylo snadno dosažitelné.
2) Alternativní možnost reprezentace jsou implementovány částečně – chybí srovnání s reprezentací pomocí ERBlet (viz též další komentáře).
3) Srovnání výpočetní náročnosti je pouze částečně splněno – chybí systematické porovnání při použití již natrénované sítě.
4) Výsledky CQT modelu nejsou srovnatelné s ostatními, protože jak je uvedeno na str. 65, CQT nebyla použita jako vrstva sítě, jejímž vstupem i výstupem je signál, ale jako offline transformace celé datové množiny.

Nad rámec tohoto výčtu v práci chybí analýza citlivosti na vstupní podmínky (úroveň šumu, saturační práh). Ačkoliv toto nebylo explicitně požadováno zadáním, jedná se o přirozený krok, na nějž by byl student včas upozorněn, kdyby postup svojí činnosti konzultoval.

V textu se objevují nepravdivá tvrzení, např.:
– kapitola 4 uvádí metriku ViSQOL a zmiňuje, že tato byla v práci využita; to však není pravda, žádné výsledky ViSQOL nejsou dále prezentovány;
– str. 56, obr. 5.11: autor uvádí použití 2D konvolucí v modelu s STFT, následně na str. 67 je uvedeno, že STFT používá 1D konvoluce (což je v souladu s odevzdanými naučenými sítěmi);
– str. 69: student uvádí selhání funkcí erblett a ierblett v LTFAT 2.6.0 (při testu v MATLAB R2026a knihovna hlásí varování, nikoliv chybu);
– str. 75: není pravda, že vyšší překryv STFT znamená vyšší frekvenční rozlišení.

Po formální stránce je práce průměrná. Struktura práce není zcela vhodná; zejména strukturovaný závěr není obvyklý a připomíná obsah generovaný AI (byť se může jednat o vlastní text). Jelikož student práci vůbec nekonzultoval, nemohl být na stylistické neobvyklosti upozorněn.

V textu jsou hojné nekonzistence, chyby ve značení a typografii a chyby obecně jazykové:
– desetinné tečky;
– opakované zavádění zkratek (např. STFT);
– nekonzistentní používání jazyka a diakritiky v obrázcích;
– chybné označení oken v tabulce 2.1;
– zavádění pojmů namísto použití existujících (SNR = odstup signálu od šumu, nikoliv signál-šumový poměr);
– rovnice (4.2) zavádí výkon signálu, následně rovnice (4.3) hovoří o střední kvadratické hodnotě, ačkoliv se zřejmě jedná o totéž.

Praktičnost výstupů je omezena tím, že použitá architektura neuronové sítě je až triviální, a tudíž spíše demonstračního charakteru.

Odevzdané zdrojové kódy nejsou zcela funkční, např.:
– Skript ModelSTFT_trenink_test.m selže, protože „nevidí“ funkci audioqual.
– Funkce inverseProcessingCQT.m není součástí odevzdaného balíčku kódů.

Vzhledem k výše uvedeným skutečnostem konstatuji, že splnění zadání i práce jako taková jsou zcela hraniční a navrhuji 50 bodů. Points proposed by supervisor: 50

Grade proposed by supervisor: E

Reviewer’s report
Ing. Michal Švento

Diplomová práca Bc. Vojtěcha Rezka sa zaoberá skúmaním rôznych reprezentácií audio signálov používaných ako vstup do hlbokých modelov určených na opravu poškodených audio signálov, pričom sú dostupné ich dopredné aj spätné transformácie. V práci autor otestoval reprezentácie STFT, Wavelet a CQT. Reprezentáciu ERBletov menovanú v zadaní neimplementoval.

Text práce je z hľadiska čitateľnosti pomerne náročný. Štruktúra niektorých kapitol je príliš detailná a vyžadovala by dôslednejšie členenie, čo sa týka najmä kapitoly 5. Na typografickej úrovni sa vyskytuje celý rad nedostatkov, ako sú odstavce tvorené jedinou vetou, pretekajúci text, osamotené predložky na konci riadkov, chýbajúca interpunkcia a ďalšie formálne chyby. Autor má tiež sklon k opakovanému uvádzaniu rovnakých faktov, čo výrazne narúša plynulosť čítania. Navyše pre zavedené české termíny často používa ich anglické ekvivalenty. V texte sa taktiež objavuje netechnická slovná zásoba a nevhodne zvolené príklady (napr. detekcia rýb v rybníku).

Najzávažnejším nedostatkom práce sú však vnútorné rozpory v samotnom obsahu. V kapitole 4 autor uvádza tri spôsoby hodnotenia (SNR, PEMO-Q a ViSQOL), avšak na začiatku kapitoly 5 tvrdí, že metriky sú iba dve (SNR a PEMO-Q v s metrikami ODG a PSM). V sekcii 5.5.2 následne pracuje so štyrmi škálami (ODG, PSM, PSMt a SNR), pričom chýba vysvetlenie, že ODG, PSM a PSMt sú získané pomocou PEMO-Q. Podobný rozpor sa týka aj typov analyzovaných poškodení: v úvode sa uvádzajú dva typy, v prvej kapitole tri, v kapitole 5 opäť dva a v sekcii 5.3 znovu tri. Takéto protirečenia sa v texte objavujú opakovane a zásadne sťažujú porozumenie.

Zo zadania vyplýva, že autor mal navrhnúť alebo vybrať jeden hlboký model pre spracovanie audio signálov, pričom variabilnou zložkou mali byť výhradne vstupné reprezentácie (STFT, CQT, ERBlet a Wavelet). Tieto modely v kapitole 3 predstavil, ale táto časť textu nerobí žiadnu analýzu, ktorý model si vybral. Naopak venuje veľké úsilie napríklad popisu perceptronu a klasifikátorov, čo súvisí s riešenou témou veľmi okrajovo.

Závažné nedostatky sa prejavujú aj v praktickej časti práce. Autor pre každú reprezentáciu navrhuje samostatný model s odlišnou architektúrou, pričom skutočnosť, že porovnáva tri rozdielne siete, nijako nekomentuje. Metodologicky korektné experimentálne porovnanie by pritom vyžadovalo, aby všetky varianty pracovali so vstupom a výstupom rovnakej dĺžky a mali porovnateľný počet trénovateľných parametrov, prípadne porovnateľný čas spracovania. Osobitný problém predstavuje spracovanie CQT reprezentácie. Autor preprocessing nezaintegroval priamo do vrstvy modelu, hoci MATLAB takýto postup umožňuje. Tento prístup zároveň znemožňuje korektné porovnanie modelu využívajúceho CQT s modelmi založenými na Wavelet a STFT reprezentáciách, pretože predpočítané a uložené reprezentácie nemožno férovo porovnávať s transformáciami vykonávanými priamo v rámci siete.

Nedostatočné je aj porovnanie s existujúcimi metódami. Autor predstavuje niekoľko referenčných prístupov a následne konštatuje, že ich porovnanie nie je možné. Toto tvrdenie však nie je opodstatnené, pretože pre metódu podľa Záviška et al. sú verejne dostupné kódy pre MATLAB, a teda priamo aplikovateľná na autorové vlastné dáta. Autor navyše porovnáva hodnoty rovnakej metriky vypočítané na odlišných dátových súboroch, čo robí akékoľvek závery vyplývajúce z takéhoto porovnania metodologicky nekorektnými. V prípade saturácie autor uvádza pre túto metódu nepravdivé hodnoty ODG (−2,5 až −1,5), zatiaľ čo citovaný článok reportuje výrazne lepšie výsledky (0 až −0,5). Táto skutočnosť vyvoláva pochybnosti o dôslednosti práce s odbornou literatúrou.

Priložený zdrojový kód je síce prehľadne formátovaný, no nie je kompletný. Chýba napríklad skript inverseProcessingCQT.m“, čo znemožnuje plné overenie popísaných metód z textu.

Vzhľadom ku vyššie uvedeným faktom a metodologickým chybám, navrhujem hodnotenie 35/F a prácu nedoporučujem k obhajobe. Topics for thesis defence:
  1. V texte popisujete časovú náročnosť pri trénovaní, no nepopisujete aký je čas na priechod sieťou po natrénovaní v tzv. inferencii, prosím doplňte analýzu predložených sietí v inferencii.
  2. V kapitole 5. 2. predstavujete jednoduchý model s STFT, v ďalších kapitolách „zložitejšie“ modely, ktoré sú ale veľmi podobných rozmerov. Vysvetlite, prečo ste použili tak malé architektúry sietí.
  3. Uveďte počet učiteľných parametrov vašich sietí a vysvetlite, či sú všetky vrstvy učiteľné.
Points proposed by reviewer: 35

Grade proposed by reviewer: F

Responsibility: Mgr. et Mgr. Hana Odstrčilová