Název:

Bayesovské modely pro strojové učení (v angličtině)

Zkratka:BAYa
Ak.rok:2019/2020
Semestr:zimní
Studijní plán:
ProgramObor/
specializace
RočníkPovinnost
IT-MGR-2MGMe-povinně volitelný - skupina M
MITAINADE-volitelný
MITAINBIO-volitelný
MITAINCPS-volitelný
MITAINEMB-volitelný
MITAINGRI-volitelný
MITAINHPC-volitelný
MITAINIDE-volitelný
MITAINISD-volitelný
MITAINISY-volitelný
MITAINMAL-povinný
MITAINMAT-volitelný
MITAINNET-volitelný
MITAINSEC-volitelný
MITAINSEN-volitelný
MITAINSPE-volitelný
MITAINVER-volitelný
MITAINVIZ-volitelný
Vyučovací jazyk:angličtina
Kredity:5 kreditů
Ukončení:zkouška
Výuka:
hod./sempřednáškasem./cvič.lab. cvič.poč. cvič.jiná
Rozsah:26130013
 zkouškatestycvičenílaboratořeostatní
Body:51240025
Garant:Burget Lukáš, doc. Ing., Ph.D. (UPGM)
Zástupce garanta:Černocký Jan, doc. Dr. Ing. (UPGM)
Přednášející:Burget Lukáš, doc. Ing., Ph.D. (UPGM)
Cvičící:Baskar Murali K. (UPGM)
Diez Sánchez Mireia, M.Sc., Ph.D. (UPGM)
Ondel Lucas, Mgr. (UPGM)
Fakulta:Fakulta informačních technologií VUT v Brně
Pracoviště:Ústav počítačové grafiky a multimédií FIT VUT v Brně
Rozvrh:
DenVýukaTýdenMístnostOdDoPSKSkupiny
StpřednáškavýukyG202 16:0017:501EIT 1MIT 2EIT 2MIT INTE xx
 
Cíle předmětu:
  Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM, nebo Auto-Encoding Variational Bayes. Kurs je veden v angličtině.
Anotace:
  Teorie pravděpodobnosti a rozdělení pravděpodobnosti, Bayesovská Inference, Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi, Inference v Bayesovských sítích, Expectation-Maximization algoritmy, Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování, Inference pomocí variačního Bayese (VB), Stochastický VB, Modely s nekonečným počtem směsných komponentů, Dirichletovy procesy, Chinese Restaurant procesy, Pitman-Yor proces pro modelování jazyka, Šíření očekávání, Gaussovské procesy, Auto-Encoding Variational Bayes, Praktické aplikace bayesovské inference
Proč je předmět vyučován:
  V životě kolem nás není nic jistého. Nejistota nás provází i ve strojovém učení, klasifikaci a rozpoznávání - v základních kursech se naučíte, jak trénovat parametry Gaussovských modelů nebo neuronových sítí, ale jsou opravdu dobře? Můžeme si být jisti výsledkem? Jak dopadne model, pokud ho použijeme na data odlišná od trénovacích? Kurs BAY Vás naučí ničemu nevěřit a pokud možno vše vyjadřovat ne jako tvrdá čísla, ale jako pravděpodobnostní rozložení. Užijete si v něm matematiku, ale jestli to se strojovým učením myslíte vážně, nemůžete se na něj dívat jen jako na spojování krabiček, ale mít pevné matematické základy.
Osnova přednášek:
 
  1. Teorie pravděpodobnosti a rozdělení pravděpodobnosti. 
  2. Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
  3. Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi. 
  4. Inference v Bayesovských sítích (loopy belief propagation)
  5. Expectation-Maximization algoritmy (s aplikacemi na Gaussovské směsné modely)
  6. Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování 
  7. Inference pomocí variačního Bayese (VB), Stochastický VB 
  8. Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy 
  9. Pitman-Yor proces pro modelování jazyka. 
  10. Šíření očekávání (expectation propagation) 
  11. Gaussovské procesy 
  12. Auto-Encoding Variational Bayes 
  13. Praktické aplikace bayesovské inference
Osnova numerických cvičení:
 Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.
Osnova ostatní - projekty, práce:
 Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat. Studenti budou pracovat v týmech v "evaluačním" módu a presentovat své výsledky na poslední přednášce/cvičení.
Literatura referenční:
 
  • C. Bishop: Pattern Recognition and Machine Learning, Springer, 2006 
  • S. J. Gershman and D.M. Blei: A tutorial on Bayesian nonparametric models, Journal of Mathematical Psychology, 2012. 
  • P Orbanz: Tutorials on Bayesian Nonparametrics: http://stat.columbia.edu/~porbanz/npb-tutorial.html 
  • D.P. Kingma, M. Welling: Auto-Encoding Variational Bayes, ICLR, Banff, 2014
Literatura studijní:
 
  • C. Bishop: Pattern Recognition and Machine Learning, Springer, 2006 
  • S. J. Gershman and D.M. Blei: A tutorial on Bayesian nonparametric models, Journal of Mathematical Psychology, 2012. 
  • P Orbanz: Tutorials on Bayesian Nonparametrics: http://stat.columbia.edu/~porbanz/npb-tutorial.html 
  • D.P. Kingma, M. Welling: Auto-Encoding Variational Bayes, ICLR, Banff, 2014
Průběžná kontrola studia:
  
  • půlsemestrální zkouška (24b)  
  • odevzdání a presentace projektu (25b) 
  • semestrální zkouška 51b.
 

Vaše IPv4 adresa: 34.229.126.29