Detail práce

STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS

Disertační práce Student: Mikolov Tomáš Akademický rok: 2012/2013 Vedoucí: Černocký Jan, prof. Dr. Ing.
Název česky
Statistické jazykové modely založené na neuronových sítích
Jazyk práce
anglický
Abstrakt

Statistické jazykové modely jsou důležitou součástí mnoha úspěšných aplikací, mezi něž patří například automatické rozpoznávání řeči a strojový překlad (příkladem je známá aplikace Google Translate). Tradiční techniky pro odhad těchto modelů jsou založeny na tzv. N-gramech. Navzdory známým nedostatkům těchto technik a obrovskému úsilí výzkumných skupin napříč mnoha oblastmi (rozpoznávání řeči, automatický překlad, neuroscience, umělá inteligence, zpracování přirozeného jazyka, komprese dat, psychologie atd.), N-gramy v podstatě zůstaly nejúspěšnější technikou. Cílem této práce je prezentace několika architektur jazykových modelůzaložených na neuronových sítích. Ačkoliv jsou tyto modely výpočetně náročnější než N-gramové modely, s technikami vyvinutými v této práci je možné jejich efektivní použití v reálných aplikacích. Dosažené snížení počtu chyb při rozpoznávání řeči oproti nejlepším N-gramovým modelům dosahuje 20%. Model založený na rekurentní neurovové síti dosahuje nejlepších publikovaných výsledků na velmi známé datové sadě (Penn Treebank).

Klíčová slova

jazykový model, neuronová sít’, rekurentní, maximální entropie, rozpoznávání řeči, komprese dat, umělá inteligence

Ústav
Studijní program
Výpočetní technika a informatika, obor Výpočetní technika a informatika
Soubory
Stav
obhájeno
Obhajoba
2. října 2012
Citace
MIKOLOV, Tomáš. STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS. Brno, 2012. Disertační práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2012-10-02. Vedoucí práce Černocký Jan. Dostupné z: https://www.fit.vut.cz/study/phd-thesis/283/
BibTeX
@phdthesis{FITPT283,
    author = "Tom\'{a}\v{s} Mikolov",
    type = "Diserta\v{c}n\'{i} pr\'{a}ce",
    title = "STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2012,
    location = "Brno, CZ",
    language = "english",
    url = "https://www.fit.vut.cz/study/phd-thesis/283/"
}
Nahoru