MemoVision software

The MemoVision software

Software

Software MemoVision je analytický nástroj, dostupný přes webové prostředí, pomocí kterého lze extrahovat informace z hudebních nahrávek a navzájem je porovnávat. Je rozdělen na několik modulů s oddělenou funkcionalitou (nahrávání a organizace nahrávek a dat; přehrávač interpretací a sledování struktury a relevance; vizualizace). Software je specializovaný na různé interpretace stejné hudební skladby. Ty lze do softwaru nahrát včetně potřebných metadat ve formě časových pozic taktů pro zvolenou referenční nahrávku a binárních štítků, které libovolně rozdělují nahrané nahrávky na dvě navzájem se vylučující skupiny. Následně nástroj provede analýzu – získá informace o dynamice, témbru a rytmice; vypočítá tzv. kombinovanou hudební synchronizaci pomocí chroma vektorů a neuronové sítě pro detekci hudebních dob; detekuje duplikátní nahrávky a nahrávky s odlišnou hudební strukturou a vypočítá relevanci taktů na základě délky trvání každého taktu nebo rozptylu dynamiky. Uživatel následně může manuálně přidat informace k rytmické struktuře referenční nahrávky (počet dob pro jednotlivé takty) a tato informace se automaticky přenese na všechny nahrávky. V modulu Přehrávač interpretací lze přehrávat zvolené úseky interpretací a poslouchat synchronizovaná místa dle výběru. Lze také třídit takty dle jejich relevance a zobrazovat předem zvolené binární štítky. V posledním modulu lze vizualizovat parametry pro každou nahrávku zvlášť nebo zobrazit vzájemný vztah parametrů na společné ose taktů. Na základě zvolených metadat lze interpretace porovnávat ve smyslu délky trvání zvolených úseků vůči roku nahrání zvukového záznamu.

MemoVision software is a web-based analysis tool (Vue.js with Python backend) that extracts information from music recordings and compares them to each other. It is divided into modules with separate functionalities (uploading and organizing data; interpretation player and monitoring of structure and relevance; visualization). The software is specialized to analyze different interpretations of the same piece of music. The recordings can be uploaded into the software, including the necessary metadata in the form of time positions of measures for the selected reference recording and binary labels, which divide recordings into two binary classes. Subsequently, the tool performs an analysis—it obtains information about dynamics, timbre, and rhythm; calculates the combined musical synchronization using chroma vectors and a neural network for the detection of musical beats; detects duplicate recordings and recordings with different musical structures and calculates measure relevance based on the duration of each measure or the variance of dynamics. The user can manually add information to the rhythmic structure of the reference recording (the number of beats for each measure). This information is automatically transferred to all recordings. In the Interpretation Player module, the user can play selected sections of interpretations and listen to synchronized parts. One can sort measures according to their relevance and display preselected binary labels. In the last module, the user can visualize the parameters for each recording separately or show the mutual relationship of the parameters on the common axis of measures. The interpretations can be compared based on the selected metadata. The scatter plot shows the duration of the chosen sections compared to the year when the audio was recorded.

MemoVision; software; music analysis; music information retrieval; music performance analysis; synchronization; visualization

MemoVision; software; music analysis; music information retrieval; music performance analysis; synchronization; visualization

Masarykova univerzita, Žerotínovo nám. 617/9, 601 77 Brno

K využití výsledku jiným subjektem je vždy nutné nabytí licence

https://github.com/stepanmk/memovision