Discovering criminal networks and identifying their members is one of the primary aspects of LEAs' mission. ROXANNE will contribute towards this goal by bridging the strengths of speech and language technologies (SLTs), visual analysis (VA) and network analysis (NA). If funded, ROXANNE will achieve a significant increase in the speed of investigation processes and an improvement in identification of individuals by means of speech, in the scope of criminal cases where large amounts of lawfully intercepted communications (with multilingual attributes) are analysed. The technical development will be centred around the ROXANNE platform, which will enhance criminal network analysis capabilities by providing a framework for extracting evidence and actionable intelligence based on speech, language and video technologies. The intention is not to replace humans but automate time-consuming tasks, and support LEA decisionmaking. Its early version will offer preliminary SLT, VA and NA capabilities to collect end-user feedback. The final version will provide multilingual, probabilistic tools interfacing SLT and NA technologies, boosted by natural language processing (NLP) and relation analysis in the synoptic criminal activity graph. ROXANNE will achieve full compliance with relevant INTERPOL and EU legal and ethical frameworks, including innovative approaches to data protection management such as privacy by design. Special efforts will be expended to ensure ROXANNE outcomes achieve widespread adoption by law enforcement. The effort will be enhanced through a series of education and awareness campaigns and the direct involvement of LEAs from nine European countries, that will test our solutions on real case data. In addition, ROXANNE partner INTERPOL and EUROPOL (member of the External Advisory Board) will provide advice and guidance. The consortium has 24 partners with complementary skills, including leaders in key technology areas impacting criminal investigations.

Popis česky
Objevování zločineckých sítí a identifikace jejich členů je jedním z hlavních aspektů poslání LEAs. ROXANNE přispěje k dosažení tohoto cíle tím, že překoná silné stránky řečových a jazykových technologií (SLT), vizuální analýzy (VA) a síťové analýzy (NA). Pokud bude financována, ROXANNE dosáhne významného zvýšení rychlosti vyšetřovacích procesů a zlepšení identifikace osob prostřednictvím řeči v rámci kriminálních případů, kdy je analyzováno velké množství legálně zachycených komunikací (s vícejazyčnými atributy). Technický vývoj bude soustředěn kolem platformy ROXANNE, která posílí schopnost analyzovat kriminální síť tím, že poskytne rámec pro získávání důkazů a zpravodajských informací založených na řečových, jazykových a video technologiích. Záměrem není nahradit lidi, ale automatizovat časově náročné úkoly a podporovat rozhodování LEA. Jeho časná verze nabídne předběžné schopnosti SLT, VA a NA ke shromažďování zpětné vazby koncových uživatelů. Konečná verze poskytne vícejazyčné pravděpodobné nástroje, které propojí technologie SLT a NA, které budou podporovány při zpracování přirozeného jazyka (NLP) a relační analýzy v grafu synoptické kriminální činnosti. ROXANNE dosáhne plného souladu s příslušnými právními a etickými rámcimi INTERPOL a EU, včetně inovativních přístupů k řízení ochrany údajů, jako je ochrana soukromí od návrhu. Zvláštní úsilí bude vynaloženo, aby se zajistilo, že výsledky společnosti ROXANNE dosáhnou rozsáhlé přijetí ze strany donucovacích orgánů. Snaha bude posílena prostřednictvím řady vzdělávacích a osvětových kampaní a přímého zapojení LEA z devíti evropských zemí, které otestují naše řešení na základě skutečných údajů. Navíc partner ROXANNE INTERPOL a EUROPOL (člen externí poradní rady) poskytnou poradenství a poradenství. Konsorcium má 24 partnerů s komplementárními dovednostmi, včetně vedoucích pracovníků v klíčových technologických oblastech, které mají dopad na trestní vyšetřování.

Klíčová slova
Fight against criminality, Fight against trafficking, Speech analytics, Criminal network analysis, Organised crime, Counter-terrorism, Analysis platform, Legal and ethical framework

Klíčová slova česky
Boj proti kriminalitě, Boj proti obchodování s lidmi, Analýza řeči, Analýza kriminální sítě, Organizovaný zločin, Boj proti terorismu, Platforma pro analýzu, Právní a etický rámec

angličtina

Černocký Jan, prof. Dr. Ing. - hlavní řešitel
Karafiát Martin, Ing., Ph.D. - spoluřešitel
Veselý Karel, Ing., Ph.D. - spoluřešitel
Žižka Josef, Ing. - spoluřešitel
Žmolíková Kateřina, Ing., Ph.D. - spoluřešitel

Ústav počítačové grafiky a multimédií
- odpovědné pracoviště (23.1.2019 - nezadáno)
Výzkumná skupina dolování dat z řeči BUT Speech@FIT
- interní (23.1.2019 - 31.12.2022)
Phonexia
- spolupříjemce (23.1.2019 - 31.12.2022)
Ústav počítačové grafiky a multimédií
- spolupříjemce (23.1.2019 - 31.12.2022)

SOLEWICZ, Y.; COHEN, N.; ROHDIN, J.; MADIKERI, S.; ČERNOCKÝ, J. Speaker recognition on mono-channel telephony recordings. Proceedings of Odyssey 2022. Beijing: International Speech Communication Association, 2022. p. 193-199.
Detail

NIGMATULINA, I.; MADIKERI, S.; VILLATORO-TELLO, E.; MOTLÍČEK, P.; ZULUAGA-GOMEZ, J.; PANDIA, K.; GANAPATHIRAJU, A. Implementing contextual biasing in GPU decoder for online ASR. In Proceedings of the Annual Conference of International Speech Communication Association, INTERSPEECH. Proceedings of Interspeech. Dublin: International Speech Communication Association, 2023. no. 8, p. 4494-4498. ISSN: 1990-9772.
Detail

MOŠNER, L.; PLCHOT, O.; ROHDIN, J.; ČERNOCKÝ, J. Utilizing VOiCES dataset for multichannel speaker verification with beamforming. Proceedings of Odyssey 2020 The Speaker and Language Recognition Workshop. Proceedings of Odyssey: The Speaker and Language Recognition Workshop Odyssey 2014, Joensuu, Finland. Tokyo: International Speech Communication Association, 2020. no. 11, p. 187-193. ISSN: 2312-2846.
Detail

LANDINI, F.; GLEMBEK, O.; MATĚJKA, P.; ROHDIN, J.; BURGET, L.; DIEZ SÁNCHEZ, M.; SILNOVA, A. Analysis of the BUT Diarization System for Voxconverse Challenge. In ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Toronto, Ontario: IEEE Signal Processing Society, 2021. p. 5819-5823. ISBN: 978-1-7281-7605-5.
Detail

LANDINI, F.; PROFANT, J.; DIEZ SÁNCHEZ, M.; BURGET, L. Bayesian HMM clustering of x-vector sequences (VBx) in speaker diarization: Theory, implementation and analysis on standard tasks. COMPUTER SPEECH AND LANGUAGE, 2022, vol. 71, no. 101254, p. 1-16. ISSN: 0885-2308.
Detail

STAFYLAKIS, T.; MOŠNER, L.; PLCHOT, O.; ROHDIN, J.; SILNOVA, A.; BURGET, L.; ČERNOCKÝ, J. Training Speaker Embedding Extractors Using Multi-Speaker Audio with Unknown Speaker Boundaries. In Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Proceedings of Interspeech. Incheon: International Speech Communication Association, 2022. no. 9, p. 605-609. ISSN: 1990-9772.
Detail

SILNOVA, A.; STAFYLAKIS, T.; MOŠNER, L.; PLCHOT, O.; ROHDIN, J.; MATĚJKA, P.; BURGET, L.; GLEMBEK, O.; BRUMMER, J. Analyzing speaker verification embedding extractors and back-ends under language and channel mismatch. Proceedings of The Speaker and Language Recognition Workshop (Odyssey 2022). Beijing: International Speech Communication Association, 2022. p. 9-16.
Detail

ALAM, J.; BOULIANNE, G.; BURGET, L.; DAHMANE, M.; DIEZ SÁNCHEZ, M.; GLEMBEK, O.; LALONDE, M.; LOZANO DÍEZ, A.; MATĚJKA, P.; MIZERA, P.; MOŠNER, L.; NOISEUX, C.; MONTEIRO, J.; NOVOTNÝ, O.; PLCHOT, O.; ROHDIN, J.; SILNOVA, A.; SLAVÍČEK, J.; STAFYLAKIS, T.; ST-CHARLES, P.; WANG, S.; ZEINALI, H. Analysis of ABC Submission to NIST SRE 2019 CMN and VAST Challenge. Proceedings of Odyssey 2020 The Speaker and Language Recognition Workshop. Proceedings of Odyssey: The Speaker and Language Recognition Workshop Odyssey 2014, Joensuu, Finland. Tokyo: International Speech Communication Association, 2020. no. 11, p. 289-295. ISSN: 2312-2846.
Detail

LOZANO DÍEZ, A.; SILNOVA, A.; PULUGUNDLA, B.; ROHDIN, J.; VESELÝ, K.; BURGET, L.; PLCHOT, O.; GLEMBEK, O.; NOVOTNÝ, O.; MATĚJKA, P. BUT Text-Dependent Speaker Verification System for SdSV Challenge 2020. In Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Proceedings of Interspeech. Shanghai: International Speech Communication Association, 2020. no. 10, p. 761-765. ISSN: 1990-9772.
Detail

SKOWRON, M.; BACKFRIED, G.; NAVAS, E.; BERZINŠ, A.; VAN, J.; DE, F.; DEMARCO, A.; POLÁK, P.; KOVÁČ, M.; POLÁK, P.; ROHDIN, J.; ROSNER, M.; SANCHEZ, J.; SARATXAGA, I.; SCHWARZ, P. Deep Dive Speech Technology. In European Language Equality. Cham: Springer Nature Switzerland AG, 2023. p. 289-312. ISBN: 978-3-031-28819-7.
Detail

ALAM, J.; BURGET, L.; GLEMBEK, O.; MATĚJKA, P.; MOŠNER, L.; PLCHOT, O.; ROHDIN, J.; SILNOVA, A.; STAFYLAKIS, T. Development of ABC systems for the 2021 edition of NIST Speaker Recognition evaluation. Proceedings of The Speaker and Language Recognition Workshop (Odyssey 2022). Beijing: International Speech Communication Association, 2022. p. 346-353.
Detail

STAFYLAKIS, T.; ROHDIN, J.; BURGET, L. Speaker embeddings by modeling channel-wise correlations. In Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Proceedings of Interspeech. Brno: International Speech Communication Association, 2021. no. 8, p. 501-505. ISSN: 1990-9772.
Detail

MOTLÍČEK, P.; DIKICI, E.; MADIKERI, S.; RANGAPPA, P.; BACKFRIED, G.; ROHDIN, J.; SCHWARZ, P.; KOVÁČ, M.; MALÝ, K.; BOBOŠ, D.; KLAKOW, D.; SERGIDOU, E. ROXSD: The ROXANNE Multimodal and Simulated Dataset for Advancing Criminal Investigations. Proceedings of Odyssey 2024: The Speaker and Language Recognition Workshop. Québec City: International Speech Communication Association, 2024. p. 17-24.
Detail

SILNOVA, A.; BRUMMER, J.; ROHDIN, J.; STAFYLAKIS, T.; BURGET, L. Probabilistic embeddings for speaker diarization. Proceedings of Odyssey 2020 The Speaker and Language Recognition Workshop. Proceedings of Odyssey: The Speaker and Language Recognition Workshop Odyssey 2014, Joensuu, Finland. Tokyo: International Speech Communication Association, 2020. no. 11, p. 24-31. ISSN: 2312-2846.
Detail

KARAFIÁT, M.; VESELÝ, K.; ČERNOCKÝ, J.; PROFANT, J.; NYTRA, J.; HLAVÁČEK, M.; PAVLÍČEK, T. Analysis of X-Vectors for Low-Resource Speech Recognition. In ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Toronto, Ontario: IEEE Signal Processing Society, 2021. p. 6998-7002. ISBN: 978-1-7281-7605-5.
Detail

LANDINI, F.; LOZANO DÍEZ, A.; BURGET, L.; DIEZ SÁNCHEZ, M.; SILNOVA, A.; ŽMOLÍKOVÁ, K.; GLEMBEK, O.; MATĚJKA, P.; STAFYLAKIS, T.; BRUMMER, J. BUT System Description for The Third DIHARD Speech Diarization Challenge. Proceedings available at Dihard Challenge Github. on-line by LDC and University of Pennsylvania: 2021. p. 1-5.
Detail

Odpovědnost: Černocký Jan, prof. Dr. Ing.