Bachelor's Thesis

New uses of objective metrics for evaluating audio signal quality

Final Thesis 12.17 MB Appendix 58.48 kB

Author of thesis: Bc. Martin Šmíd

Acad. year: 2025/2026

Supervisor: Ing. Ondřej Mokrý, Ph.D.

Reviewer: Ing. Michal Švento

Abstract:

The bachelor's thesis is concerned with using results from objective methods of evaluating the audio signal quality in combination with results from listening tests to create a model for estimating subjective ratings without a need for a listening test. Concurrently, as a foundation for the creation of the model, a set of available listening test results and output grades of objective metrics is created.

Keywords:

objective method, listening test, audio signal, reconstruction method, audio inpainting, declipping, audio quality, subjective rating, linear regression, nonlinear regression, coefficient of determination

Date of defence

18.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaEznamka

Grading

E

Process of defence

Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil bakalářskou práci s výhradami a odpověděl na otázky členů komise a oponenta. V kapitole 6 nie je explicitne uvedené, aké nastavenie MSS (Multi-Resolution STFT) bolo použité pri experimentoch. Môžete špecifikovať, aký je rozdiel medzi MSS 32 a MSS 64? Koľko rôznych typov STFT tieto nastavenia využívajú a s akými konkrétnymi parametrami? V práci uvádzate použitie nelineárneho modelu, avšak chýba jeho bližšia špecifikácia. Uveďte prosím parametrizáciu vášho nelineárneho modelu. Ako sa hľadajú jeho parametre? Jak byste se vyjádřil k posudku vedoucího a oponenta práce? Student dostatečně vystvětlil otázky.

Language of thesis

Czech

Faculty

Department

Study programme

Audio Engineering (BPC-AUD)

Specialization

Audio Production and Recording (AUDB-ZVUK)

Composition of Committee

prof. Ing. Jiří Mekyska, Ph.D. (předseda)
RNDr. Lubor Přikryl (místopředseda)
Ing. Ladislav Káňa (člen)
Ing. Benjamin Nimmerrichter (člen)
Ing. Štěpán Miklánek, Ph.D. (člen)

Supervisor’s report
Ing. Ondřej Mokrý, Ph.D.

Bakalářská práce se zabývá modelováním subjektivního hodnocení poškozených (a opravených) audio signálů pomocí objektivních metrik. Vhodnost vybraných metrik byla ověřena, v textu práce však přímo prezentována není. Následně jsou prostřednictvím lineární regrese různé kombinace objektivních metrik použity k predikci subjektivního hodnocení získaného z poslechových testů. V závěru jsou prezentovány obdobné modely nelineární regrese. Zadání práce tím považuji v základní míře za splněné.

Student pracoval průběžně, ovšem nepříliš samostatně. V průběhu bylo třeba konzultovat i základní otázky, student narážel na velké množství technických překážek, ačkoliv plné porozumění statistice ani programování vlastních funkcí po něm nebyly požadovány. Z důvodu pomalého postupu pak nemohly být dotaženy např. modely optimalizující jiná kritéria, modely strojového učení, případně alespoň jednoduchý neuronový model. Nedotažený je rovněž text práce a celkově prezentace výsledků, viz např. následující:
– Techničtější pasáže textu (části 1.3, 1.4, 3.2) obsahují množství nezavedeného značení a nepřesností.
– Čitelnost grafů je omezená.
– Způsob uvedení p-hodnot v tabulce 6.2 a dále není názorný.
– U nelineární regrese (část 6.2) není uvedený použitý model.
– V obrázcích 6.5 a 6.6 není zřejmé, co označuje číslo modelu.
– Grafické porovnání dvojic modelů (např. obr. 6.7) není vhodně voleno.

Vzhledem k uvedeným výhradám a s přihlédnutím k rozsahu samostatné činnosti práci doporučuji k obhajobě s hodnocením 55 bodů. Points proposed by supervisor: 55

Grade proposed by supervisor: E

Reviewer’s report
Ing. Michal Švento

Bakalárska práca Martina Šmída sa zaoberá návrhom novej metódy hodnotenia poškodených audio signálov, ktorej cieľom je čo najvernejšie aproximovať výsledky posluchových testov prostredníctvom vhodnej kombinácie a váhovania objektívnych metrík. Autor s použitím základných modelov preukázal, že tento nový smer je možný. Je však zrejmé, že pre širšiu aplikáciu by bolo potrebné zložitejší model, čo v práci nebolo dosiahnuté.

Text práce je nízkej technickej kvality a obsahuje množstvo nedostatkov po jazykovej, štylistickej aj technickej stránke. Vyskytuje sa v ňom množstvo nečíslovaných rovníc, nejasných alebo nezmyselných formulácií, ako aj chýbajúca interpunkcia. Štruktúra práce je nevhodne navrhnutá, napríklad kapitola 5 pozostáva len z dvoch krátkych odsekov. Autor v texte štvrtej kapitoly opakovane uvádza pojem „semestrálna práca“ namiesto „bakalárska práca“. Z technického hľadiska práca trpí nedostatočným zavádzaním premenných a symbolov používaných v texte. Za problematickú považujem najmä kapitolu 6, ktorá predstavuje praktickú časť práce. Autor sa sústreďuje predovšetkým na prezentáciu výsledkov, avšak absentujú podstatné informácie o realizovanom posluchovom teste. Práca neobsahuje samotné výsledky posluchového hodnotenia ani základné parametre experimentu, ako napríklad počet účastníkov testu či podmienky jeho realizácie. Uvedené modely (lineárny a nelineárny) a ich optimalizácia nie sú v práci detailne popísané.

Práca spĺňa zadanie len v hraničnej miere. Na základe predloženého textu mám pochybnosti o tom, do akej miery študent porozumel riešenej problematike a použitým metódam. Z uvedených dôvodov navrhujem hodnotenie 50/E. Topics for thesis defence:
  1. V kapitole 6 nie je explicitne uvedené, aké nastavenie MSS (Multi-Resolution STFT) bolo použité pri experimentoch. Môžete špecifikovať, aký je rozdiel medzi MSS 32 a MSS 64? Koľko rôznych typov STFT tieto nastavenia využívajú a s akými konkrétnymi parametrami?
  2. V práci uvádzate použitie nelineárneho modelu, avšak chýba jeho bližšia špecifikácia. Uveďte prosím parametrizáciu vášho nelineárneho modelu. Ako sa hľadajú jeho parametre?
Points proposed by reviewer: 50

Grade proposed by reviewer: E

Responsibility: Mgr. et Mgr. Hana Odstrčilová