Název:

Architektura a programování paralelních systémů

Zkratka:ARC
Ak.rok:2006/2007
Semestr:letní
Studijní plán:
ProgramOborRočníkPovinnost
IT-MGR-2MGM.-volitelný
IT-MGR-2MIN.-volitelný
IT-MGR-2MIS.-volitelný
IT-MGR-2MPS1.povinný
IT-MGR-2EITE2.volitelný
Vyučovací jazyk:čeština
Kredity:5 kreditů
Ukončení:zkouška (písemná)
Výuka:
hod./sempřednáškasem./cvičenílab. cvičenípoč. cvičeníjiná
Rozsah:3900130
 zkouškatestycvičenílaboratořeostatní
Body:00000
Garant:Dvořák Václav, prof. Ing., DrSc., UPSY
Přednášející:Dvořák Václav, prof. Ing., DrSc., UPSY
Cvičící:Dvořák Václav, prof. Ing., DrSc., UPSY
Jaroš Jiří, Ing., Ph.D., UPSY
Kašpárek Tomáš, Ing., CVT
Fakulta:Fakulta informačních technologií VUT v Brně
Pracoviště:Ústav počítačových systémů FIT VUT v Brně
Prerekvizity: 
Hardware/Software Codesign (HSC), UPSY
Nahrazuje:
Architektury počítačů (ARP), UPSY
Praktické paralelní programování (PPP), UPSY
 
Cíle předmětu:
Orientovat se v nabídce paralelních systémů, umět posoudit komunikační a výpočetní možnosti konkrétní architektury a predikovat výkonnost paralelních aplikaci. Seznámit se s nejdůležitějšími prostředky paralelního programování (MPI,  OpenMP), naučit se je prakticky používat a řešit problémy paralelně.
Anotace:
Předmět pokrývá architekturu i programování paralelních systémů s fukčním a datovým paralelismem. Nejdříve je pojednáno o teorii paralelních systémů a paralelizaci programů. Následuje popis nejrozšířenějších mnohojádrových a víceprocesorových symetrických multiprocesorů  (SMP) a jejich programování v prostředí OpenMP. Pokračuje výklad o propojovacích sítích jako základu populárních svazků pracovních stanic a dalších systémů se zasíláním zpráv. Jejich programování ve standardizovaném rozhraní  MPI je ilustrováno případovými studiemi paralelních aplikací. Závěrem je pojednáno o pokročilých systémech DSM NUMA.
Požadované prerekvizitní znalosti a dovednosti:
Von Neumannova architektura počítače, paměťová hierarchie, paměti cache a jejich organizace, programování v JSI a v C/C++.
Není vyžadováno školení studentů z Vyhlášky č. 50.
Získané dovednosti, znalosti a kompetence z předmětu:
Přehled principů výstavby paralelních systémů a propojovacích sítí, schopnost odhadnout výkonnost paralelních aplikací. Přehled o možnostech paralelizace základních technických úloh, znalost paralelního programování v MPI a v OpenMP.
Dovednosti, znalosti a kompetence obecné:
Znalost možností a omezení paralelního zpracování, schopnost odhadnout výkonnost paralelních aplikací. Jazyková výbava pro komunikaci a synchronizaci procesů/vláken. Kompetence v technických a programových prostředcích pro náročné vědecké výpočty a simulace.
Osnova přednášek:
  1. Funkční a datový paralelismus, ukazatele výkonnosti, režie, zákony omezující zrychlení.
  2. Paralelizace programů, dekompozice, plánování úloh.
  3. Multiprocesory se sdílenou pamětí. Saturace sběrnice, křížový přepínač, arbitry, organizace paměti.
  4. Koherence vyrovnávacích pamětí, protokoly MSI a MESI. Modely paměťové konzistence.
  5. OpenMP, paralelizace smyček.
  6. Synchronizace v OpenMP, zámky a bariéry.
  7. Paralelní programování orientované na výkonnost. 
  8. Propojovací a přepínací sítě, směrovací algoritmy.
  9. Řízení přenosu zpráv, architektura směrovačů.
  10. Zpracování zpráv, kolektivní komunikace a výkonnost komunikací.
  11. Programování se zasíláním zpráv (MPI).  
  12. Výpočty na svazcích počítačů s použitím párových a kolektivních komunikací.
  13. Multiprocesory s architekturou DSM - NUMA.  

 

Osnova numerických cvičení:
Numerická cvičení u předmětu nejsou plánována.
Osnova ostatní - projekty, práce:
  1. Problém n těles (částic), predikce výkonnosti na svazku počítačů. 
  2. Vývoj teplotního pole pomocí Jacobiho iterací na SMP v OpenMP.
  3. Evoluční algoritmy na svazku blades.
Literatura referenční:
  1. Culler, D.E.: Parallel Computer Architecture - A Hardware / Software Approach. Morgan Kaufmann Publ., 1999, 1025 s., ISBN 1-55860-343-3. 
  2. Quinn, M.J: Parallel Programming in C with MPI and OpenMP. McGraw Hill, 2004, 529 s., ISBN: 0072822562.
  3. Dally, W.J., Towles, B.: Principles and Practices of Interconnection Networks. Morgan Kaufman Publ., 2004, 550 s., ISBN:0-12-200751-4.
Literatura studijní:
  1. Dvořák, V.: Architektura a programování paralelních systémů. Skriptum FIT VUT v Brně, 2004, 170 s., ISBN 80-214-2608-X. 
Průběžná kontrola studia:
Tři malé projekty v rozsahu 5, 4 a 4 hodin ; půlsemestrální písemka.
Podmínky zápočtu:
Pro udělení zápočtu a připuštění ke zkoušce je třeba během semestru získat 20 bodů ze 40 možných.