Neuronové reprezentace v multimodálním a mnohojazyčném modelování

Název v češtině:Neuronové reprezentace v multimodálním a mnohojazyčném modelování
Hlavní řešitel:Burget Lukáš
Spoluřešitelé:Karafiát Martin, Veselý Karel
Další řešitelé:Baskar Murali K., Beneš Karel
Agentura:Grantová agentura České republiky - Grantové projekty exelence v základním výzkumu EXPRO - 2019
Kód:GX19-26934X
Zahájení:2019-01-01
Ukončení:2023-12-31
Klíčová slova:hluboké strojové učení;neuronové sítě;spojité reprezentace;zpracování přirozeného jazyka;zpracování řeči a textu;strojový překlad; multimodalita;mnohojazyčnost
Anotace:
Projekt NEUREM3 spojuje základní výzkum v oblasti zpracování mluvené řeči (speech processing, SP) a přirozeného jazyka (natural language processing, NLP) s důrazem na vícejazyčnost a multi-modalitu (zpracování řeči a textu s podporou obrazové informace). V jádru současných metod hlubokého strojového učení leží spojité vektorové reprezentace, které si neuronové samy budují během trénování. Ačkoli empiricky dosahují neuronové sítě často vynikajících výsledků, znalosti a pochopení získaných reprezentací jsou nedostatečné. NEUREM3 má ambici tuto mezeru vyplnit a studovat neuronové reprezentace pro jednotky textu a řeči různého rozsahu (od fonémů a písmen až po proslovy a dokumenty) a reprezentace získané pro izolované úlohy i více úloh současně (multi-tasking). NEUREM3 vylepší architektury i techniky trénování neuronových sítí, aby je bylo možné trénovat je na neúplných nebo nekoherentních datech.
Popis projektu:
Cíle projektu:
Systematická studie neuronových struktur pro modelování řeči a textu v multimodálních a multilingválních prostředích. Výzkum hierarchií neuronových reprezentací, jejich srozumitelnosti pro lidské uživatele a trénování v realistických podmínkách neideálních a nekoherentních dat.

Publikace

2019NOVOTNÝ Ondřej, PLCHOT Oldřich, GLEMBEK Ondřej, ČERNOCKÝ Jan a BURGET Lukáš. Analysis of DNN Speech Signal Enhancement for Robust Speaker Recognition. Computer Speech and Language. Amsterdam: Elsevier Science, 2019, roč. 2019, č. 58, s. 403-421. ISSN 0885-2308.
 ROHDIN Johan A., SILNOVA Anna, DIEZ Sánchez Mireia, PLCHOT Oldřich, MATĚJKA Pavel, BURGET Lukáš a GLEMBEK Ondřej. End-to-end DNN based text-independent speaker recognition for long and short utterances. Computer Speech and Language. Amsterdam: Elsevier Science, 2019, roč. 2020, č. 59, s. 22-35. ISSN 0885-2308.

Vaše IPv4 adresa: 34.238.189.171