ELOQUENCE aims to research and develop new technologies supporting collaborative voice/chat bots for both low secure (low risk) and highly secure (high risk) applications. Dialogue engines powered by voice assistants have already been present in various commercial/governmental applications with lower or higher level complexities. In both cases, this complexity can be translated to a problem of analysing unstructured dialogues. Key objective of ELOQUENCE is to understand unstructured dialogues and conduct them in an explainable, safe, knowledge-grounded, trustworthy and unbiased way, while considering and building on top of prior achievements in this domain (e.g. recently launched chatGPT Large Language Models (LLMs). While including key industrial enterprises from Europe in this project (i.e. Omilia, Telefonica. ...) will approach safety with human-in-the-loop for safety-critical applications (i.e., emergency services) and via information retrieval and fact-checking against an online knowledge base for less critical autonomous systems (i.e., home-assistants). ELOQUENCE will target the R&D of these novel conversational AI technologies in multilingual and multimodal environments. Both basic research and its direct deployment through two pilots will be targeted: 1) emergency call contact centres and 2) smart assistants through decentralised training in smart homes.

Description in Czech
ELOQUENCE se zaměřuje na výzkum a vývoj nových technologií podporujících kolaborativní hlasové/chatové roboty pro aplikace s nízkým (nízké riziko) i vysokým (vysoké riziko) zabezpečením. Dialogové motory poháněné hlasovými asistenty se již vyskytují v různých komerčních/vládních aplikacích s nižší nebo vyšší úrovní složitosti. V obou případech lze tuto složitost převést na problém analýzy nestrukturovaných dialogů. Klíčovým cílem projektu ELOQUENCE je porozumět nestrukturovaným dialogům a vést je vysvětlitelným, bezpečným, znalostně podloženým, důvěryhodným a nezaujatým způsobem, přičemž je třeba zohlednit a navázat na předchozí úspěchy v této oblasti (např. nedávno spuštěný chatGPT Large Language Models (LLM). Při zapojení klíčových průmyslových podniků z Evropy do tohoto projektu (tj. Omilia, Telefonica. ...) bude k bezpečnosti přistupováno pomocí člověka ve smyčce pro aplikace kritické z hlediska bezpečnosti (tj. záchranné služby) a prostřednictvím vyhledávání informací a ověřování faktů na základě online znalostní báze pro méně kritické autonomní systémy (tj. domácí asistenti). ELOQUENCE se zaměří na výzkum a vývoj těchto nových konverzačních technologií umělé inteligence ve vícejazyčných a multimodálních prostředích. Zaměří se jak na základní výzkum, tak na jeho přímé nasazení prostřednictvím dvou pilotních projektů: 1) kontaktní centra tísňového volání a 2) inteligentní asistenti prostřednictvím decentralizovaného školení v inteligentních domácnostech.

Keywords
Human computer interaction and interface, visualization and natural language, artificial intelligence, intelligence systems, multi agents systems, natural language processing, data protection and privacy, machine learning, statistical data processing and applications using data processing, formal, cognitive, functional and computational linguistics, distributed and federated adaptation of Large Language Models, Multilinguality, Multimodality, Human-in-the-loop, Bias mitigation, Grounding.

English

Plchot Oldřich, Ing., Ph.D. - principal person responsible
Beneš Karel, Ing., Ph.D. - fellow researcher
Fajčík Martin, Ing., Ph.D. - fellow researcher
Heřmanský Hynek, prof. Ing., Dr. Eng. - fellow researcher
Kesiraju Santosh, Ph.D. - fellow researcher
Kohlová Renata, Ing. - fellow researcher
Peng Junyi - fellow researcher
Pešán Jan, Ing. - fellow researcher
Rohdin Johan Andréas, M.Sc., Ph.D. - fellow researcher
Sarvaš Marek, Ing. - fellow researcher
Sedláček Šimon, Ing. - fellow researcher
Valentini Francisco Tomas, BSc - fellow researcher
Yusuf Bolaji - fellow researcher

Department of Computer Graphics and Multimedia
- responsible department (21.3.2023 - not assigned)
Speech Data Mining Research Group BUT Speech@FIT
- internal (21.3.2023 - 31.12.2026)
Department of Computer Graphics and Multimedia
- co-beneficiary (21.3.2023 - 31.12.2026)
Omilia
- co-beneficiary (21.3.2023 - 31.12.2026)

YUSUF, B.; ČERNOCKÝ, J.; SARAÇLAR, M. Pretraining End-to-End Keyword Search with Automatically Discovered Acoustic Units. In Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Proceedings of Interspeech. Kos: International Speech Communication Association, 2024. no. 9, p. 5068-5072. ISSN: 1990-9772.
Detail

PEŠÁN, J.; JUŘÍK, V.; RŮŽIČKOVÁ, A.; SVOBODA, V.; JANOUŠEK, O.; NĚMCOVÁ, A.; BOJANOVSKÁ, H.; ALDABAGHOVÁ, J.; KYSLÍK, F.; VODIČKOVÁ, K.; SODOMOVÁ, A.; BARTYS, P.; CHUDÝ, P.; ČERNOCKÝ, J. Speech production under stress for machine learning: multimodal dataset of 79 cases and 8 signals. Scientific Data, 2024, vol. 11, no. 1, p. 1-9. ISSN: 2052-4463.
Detail

ROHDIN, J.; ZHANG, L.; PLCHOT, O.; STANĚK, V.; MIHOLA, D.; PENG, J.; STAFYLAKIS, T.; BEVERAKI, D.; SILNOVA, A.; BRUKNER, J.; BURGET, L. BUT systems and analyses for the ASVspoof 5 Challenge. Proceedings of ASV spoof 2024 Workshop. Kos Island: International Speech Communication Association, 2024. p. 24-31.
Detail

POLOK, A.; KLEMENT, D.; HAN, J.; SEDLÁČEK, Š.; YUSUF, B.; MACIEJEWSKI, M.; WIESNER, M.; BURGET, L. BUT/JHU System Description for CHiME-8 NOTSOFAR-1 Challenge. Proceedings of CHiME 2024 Workshop. Kos Island: International Speech Communication Association, 2024. p. 18-22.
Detail

FAJČÍK, M.; DOČEKAL, M.; DOLEŽAL, J.; ONDŘEJ, K.; BENEŠ, K.; SMRŽ, P.; POLOK, A.; HRADIŠ, M. BenCzechMark : A Czech-Centric Multitask and Multimetric Benchmark for Large Language Models with Duel Scoring Mechanism. Transactions of the Association for Computational Linguistics, 2025, vol. 13, no. 9, p. 1068-1095.
Detail

Responsibility: Plchot Oldřich, Ing., Ph.D.