Bachelor's Thesis

The influence of audiovisual latency on the quality of musicians' interplay

Final Thesis 11.76 MB Appendix 15.44 kB

Author of thesis: Bc. Vojtěch Kylián

Acad. year: 2025/2026

Supervisor: MgA. et Mgr. Ondřej Jirásek, Ph.D.

Reviewer: prof. Ing. Zdeněk Smékal, CSc.

Abstract:

This bachelor thesis investigates the influence of audiovisual latency on the quality of rhythmic interplay between musicians during network-based performance using the MVTP platform. The aim was to determine how increasing latency affects objective timing metrics and how this effect changes with tempo, musical structure and the presence of visual contact. The experiment was carried out with four pairs of musicians placed in two separate rooms. The players performed three musical excerpts of different rhythmic and melodic complexity at three tempi and several latency levels. The recordings were evaluated using a Python processing pipeline, and the main results were verified by an independent MATLAB implementation. The main objective metric was the root mean square error of mutual onset asynchrony between the players, referred to as interplay RMSE. Additional analyses included tempo drift, onset-pairing coverage, subjective ratings and selected spectral and psychoacoustic descriptors. The results show that increasing latency worsens mutual timing between players and can also lead to a systematic decrease in the actually performed tempo. The effect of latency was not universal, but depended on the musical material and tempo; the strongest deterioration was observed in faster and rhythmically more complex passages. Visual contact had a supportive rather than decisive effect, with the largest practical benefit appearing in more complex excerpts. The thesis concludes with practical recommendations for using the MVTP platform in remote musical collaboration.

Keywords:

audiovisual latency; musicians' interplay; network music performance; MVTP; visual contact; interplay RMSE; tempo drift; psychoacoustic descriptors

Date of defence

18.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil bakalářskou práci a odpověděl na otázky členů komise a oponenta. Otázky komise a oponenta: Jaký máte názor na to, jak se může projevit latence při interpretaci dané skladby hudebníky z různých zemí, kteří mohou danou skladbu interpretovat rozdílně podle historického a sociálního cítění daného prostředí?

Language of thesis

Czech

Faculty

Department

Study programme

Audio Engineering (BPC-AUD)

Specialization

Audio Production and Recording (AUDB-ZVUK)

Composition of Committee

prof. Mgr. Pavel Rajmic, Ph.D. (předseda)
MgA. et Mgr. Ondřej Jirásek, Ph.D. (místopředseda)
Ing. Miroslav Balík, Ph.D. (člen)
Ing. Richard Ladislav (člen)
Ing. Václav Mach, Ph.D. (člen)

V teoretické části bakalářské práce popsal student podrobně fyziologicko-akustické i psycho akustické veličiny a vzorce, které souvisejí s předmětem jeho výzkumu. Rovněž se patřičnou měrou věnoval odpovídající hudební teorii i objasnil technické zázemí a realizaci experimentu.
Pro vyhodnocení latence zvolil iniciativně oproti původnímu měření spektrální entropie vhodnější výpočet odchylek stanovením RMSE, kdy oproti ideálnímu rytmicky rovnému MIDI záznamu vyhodnocoval rytmicky rozbitější výkon živých hráčů. Kalkulaci provedl jak bez, tak s váhovými funkcemi, pomocí kterých byly těžším a lichým dobám v taktech stanoveny významnější role, a tím započteny vyšší koeficienty. Pro křížovou validaci použil programy Python a MATLAB, kde samostatně vytvořil celý řetězec výpočtů. Vyhodnotil rozdíly plynoucí ze zpožďování audio i video signálu.
Výsledky formou grafů, tabulek a slovních shrnutí jsou přehledně prezentovány a odpovídají zkušenostem plynoucích ze studiových nahrávání i z přenosů. Práce obsahuje rozsáhlou diskuzi inspirující k navazujícím měřením a výpočtům i zúročení v praxi.
Bakalářská práce Vojtěcha Kyliána se svým rozsahem, hloubkou zpracování i kvalitou blíží pracím diplomovým. Points proposed by supervisor: 98

Grade proposed by supervisor: A

Cílem práce bylo analyzovat vliv latence na kvalitu souhry hudebníků při síťovém přenosu. Experiment byl realizován se čtyřmi dvojicemi hudebníků ve dvou oddělených místnostech pro tři hudební úryvky různé rytmické a melodické náročnosti a šesti úrovních latence. Na základě analýzy byly formulovány orientační doporučení pro použití modulární platformy pro přenos videa (MVTP) při síťové hudební souhře. Byly kombinovány různé dvojice nástrojů (housle a violoncello, klarinet a klavír apod.). Bylo také analyzováno, jak se projeví i vizuální propojení hudebníků. Student odvedl velký kus práce při získání dat při experimentech, jejich statistické vyhodnocení a srovnání výsledků s poznatky v literatuře. Zadání bylo splněno a mnohdy překročeno. Korelační analýza ukázala, že subjektivní hodnocení souvisí spíše se vzájemnou synchronizací mezi hráči než s individuální přesností interpretace notové partitury. Topics for thesis defence:
  1. Jaký máte názor na to, jak se může projevit latence při interpretaci dané skladby hudebníky z různých zemí, kteří mohou danou skladbu interpretovat rozdílně podle historického a sociálního cítění daného prostředí.
Points proposed by reviewer: 95

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová