Všechny publikace

Mikolov, T., Deoras, A., Povey, D., Burget, L., Černocký, J.: Strategies for Training Large Scale Neural Network Language Models, In: Proceedings of ASRU 2011, Hilton Waikoloa Village, Big Island, Hawaii, US, IEEESP, 2011, s. 196-201, ISBN 978-1-4673-0366-8
Jazyk publikace:angličtina
Název publikace:Strategies for Training Large Scale Neural Network Language Models
Název (cs):Strategie pro trénování velkých jazykových modelů založených na neuronových sítích
Strany:196-201
Sborník:Proceedings of ASRU 2011
Konference:IEEE 2011 Workshop on Automatic Speech Recognition and Understanding
Místo vydání:Hilton Waikoloa Village, Big Island, Hawaii, US
Rok:2011
ISBN:978-1-4673-0366-8
Vydavatel:IEEE Signal Processing Society
URL:http://www.fit.vutbr.cz/research/groups/speech/publi/2011/mikolov_asru2011_00196.pdf [PDF]
Klíčová slova
rekurentní neuronová síť, jazykový model, rozpoznávání řeči, maximální entropie
Anotace
V článku jsou popsány techniky pro efektivní trénování jazykových modelů založených na rekurentních neuronových sítích s výsledky při rozpoznávání řeči na standardní úloze s nejlepšími publikovanými výsledky.
Abstrakt
We describe how to effectively train neural network based language models on large data sets. Fast convergence during training and better overall performance is observed when the training data are sorted by their relevance. We introduce hash-based implementation of a maximum entropy model, that can be trained as a part of the neural network model. This leads to significant reduction of computational complexity. We achieved around 10% relative reduction of word error rate on English Broadcast News speech recognition task, against large 4-gram model trained on 400M tokens.
BibTeX:
@INPROCEEDINGS{
   author = {Tomáš Mikolov and Anoop Deoras and Daniel Povey and Lukáš
	Burget and Jan Černocký},
   title = {Strategies for Training Large Scale Neural Network Language
	Models},
   pages = {196--201},
   booktitle = {Proceedings of ASRU 2011},
   year = {2011},
   location = {Hilton Waikoloa Village, Big Island, Hawaii, US},
   publisher = {IEEE Signal Processing Society},
   ISBN = {978-1-4673-0366-8},
   language = {english},
   url = {http://www.fit.vutbr.cz/research/view_pub.php?id=9775}
}

Vaše IPv4 adresa: 184.72.184.104
Přepnout na IPv6 spojení

DNSSEC [dnssec]