Master's Thesis

Solving audio inverse problems by means of instantaneous frequency

Final Thesis 12.02 MB Appendix 42.64 kB

Author of thesis: Bc. Ján Fridrich

Acad. year: 2025/2026

Supervisor: prof. Mgr. Pavel Rajmic, Ph.D.

Reviewer: Ing. Vojtěch Kovanda

Abstract:

This thesis explores a recently proposed prior for audio inpainting based on phase-aware penalty function. The phase-aware prior promotes sinusoidality by minimizing temporal phase variation in a time-frequency representation corrected by an instantaneous frequency estimation of the audio signal.
In this thesis the resulting formulation is modified to solve audio inverse problems of dequantization and declipping. This is achieved by changing the proximal operator to one aligned with the structure of the inverse problem being solved. Variations of the algorithm based on harmonic--transient model and social sparsity are proposed with the goal of improving the efficiency of the reconstruction.

The required theoretical background is presented, including notions from operator theory, convex analysis and time-frequency transformations.
Three audio inverse problems are explored and formulated along with the description of their respective consistency sets, which are essential for modifying the algorithm.

The proposed algorithms are used to solve the problem of dequantization. The proposed method and its variants are evaluated and compared to a dequantization method based on sparsity in terms of the signal-to-distortion ratio improvement and the PEMO-Q perceptual metric. The results show that some variations of the proposed method perform marginally better in terms of both metrics compared to the sparsity based method even with fewer iterations.

Keywords:

Audio inverse problems, convex optimization, dequantization, discrete Gabor transform, instantaneous frequency.

Date of defence

11.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student prezentoval výsledky své práce a komise byla seznámena s posudky. Otázky: Jakým způsobem by bylo možné ještě jinak modifikovat přímo iPCTV penalizační funkci? Je vhodné použít stejný skalár lambda u obou penalizačních funkcí iPCTV i WGL? Student obhájil diplomovou práci a odpověděl na otázky členů komise a oponenta.

Language of thesis

English

Faculty

Department

Study programme

Audio Engineering (MPC-AUD)

Specialization

Audio Production and Recording (AUDM-ZVUK)

Composition of Committee

prof. Mgr. Pavel Rajmic, Ph.D. (předseda)
doc. Ing. Petr Sysel, Ph.D. (místopředseda)
Ing. MgA. Jana Jelínková (člen)
Ing. Petr Honzík, Ph.D. (člen)
Ing. David Leitgeb (člen)

Supervisor’s report
prof. Mgr. Pavel Rajmic, Ph.D.

Bc. Ján Fridrich pracoval na tématu své diplomové práce zodpovědně, se zájmem o věc a pravidelně konzultoval svůj postup. Oceňuji zejména jeho úsilí o hluboké porozumění teoretické stránce věci, což vyžadovalo seznámení se s pokročilou matematikou; tento přístup však zároveň znamenal značné zdržení při plnění zadání, kvůli čemuž zůstaly některé cíle nesplněny. Největším nedostatkem práce je absence požadovaného subjektivního vyhodnocení. Jinak je práce vypracována na vysoké úrovni, její jazykové a grafické zpracování je výborné. Mezi další klady patří angličtina a vlastní aktivita studenta při zprovoznění algoritmu na GPU. Některé výsledky práce byly publikovány na fakultní konferenci EEICT. Points proposed by supervisor: 85

Grade proposed by supervisor: B

Reviewer’s report
Ing. Vojtěch Kovanda

Student se v práci zabývá metodami rekonstrukce degradovaných audio signálů založenými na konceptu okamžité frekvence a korekci spektrogramu. V teoretické části podrobně nastudoval problematiku okamžité frekvence a principy metody popsané v zadané literatuře. Teoretický úvod je zpracován pečlivě a prokazuje dobrou orientaci autora v dané oblasti.
V souladu se zadáním student upravil optimalizační úlohu původně určenou pro doplňování chybějících úseků signálu tak, aby byla použitelná i pro další rekonstrukční úlohy. Student dále modifikoval optimalizační formulaci metody, avšak penalizační funkce iPCTV zůstala ve většině případů zachována. Modifikací iPCTV penalizační funkce je pouze přechod na syntetizující model, ostatní úpravy optimalizační úlohy jako je nekonzistentní varianta nebo přidání další penalizační funkce nemodifikuje přímo iPCTV. Při návrhu a implementaci metody B-PHADQ WGL se nerozlišují různé lambdy násobící iPCTV a WGL penalizační funkce.
Experimentální část práce je zpracována na dobré úrovni. Autor vhodně zvolil objektivní metriky a výsledky ednotlivých variant algoritmu systematicky porovnal s referenčními metodami. Prezentované výsledky potvrzují funkčnost navrženého řešení.
Text práce je celkově zpracován kvalitně a na dobré odborné úrovni. Práce je logicky členěna a jednotlivé části na sebe vhodně navazují. V textu se však vyskytují drobné technické a typografické nepřesnosti. Jako příklad lze uvést použití kurzívy při označování kvantizovaného signálu nebo použití termínu „magnitude“ ve významu okamžité hodnoty signálu v časové oblasti. Tyto nedostatky však nemají zásadní vliv na srozumitelnost ani odbornou hodnotu práce. Odevzdané kódy jsou přehledné a s knihovnou ltfat a funkcemi ze zdroje [2] plně funkční.
Za hlavní nedostatek práce považuji absenci subjektivního vyhodnocení výsledků, které by přineslo lepší porovnání vůči referenčním metodám a vůči implementaci metody ze zdroje [35], jenž řeší problém dekvantizace analogicky avšak ne se stejnou databází signálů.
Celkově hodnotím práci jako kvalitně zpracovanou. Student prokázal schopnost samostatně nastudovat odbornou literaturu, implementovat a modifikovat pokročilé algoritmy zpracování signálů a kriticky vyhodnotit dosažené výsledky. Přes uvedené výhrady považuji zadání za převážně splněné. Topics for thesis defence:
  1. Jakým způsobem by bylo možné ještě jinak modifikovat přímo iPCTV penalizační funkci?
  2. Je vhodné použít stejný skalár lambda u obou penalizačních funkcí iPCTV i WGL?
Points proposed by reviewer: 82

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová