Název:

Architektura a programování paralelních systémů

Zkratka:ARC
Ak.rok:2005/2006
Semestr:letní
Studijní plán:
ProgramObor/
specializace
RočníkPovinnost
IT-MGR-2MGM.-volitelný
IT-MGR-2MIN.-volitelný
IT-MGR-2MIS.-volitelný
IT-MGR-2MPS1.povinný
Vyučovací jazyk:čeština
Kredity:5 kreditů
Ukončení:zkouška (písemná)
Výuka:
hod./sempřednáškasem./cvič.lab. cvič.poč. cvič.jiná
Rozsah:3900013
 zkouškatestycvičenílaboratořeostatní
Body:60120028
Garant:Dvořák Václav, prof. Ing., DrSc. (UPSY)
Přednášející:Dvořák Václav, prof. Ing., DrSc. (UPSY)
Cvičící:Dvořák Václav, prof. Ing., DrSc. (UPSY)
Kašpárek Tomáš, Ing. (CVT)
Ohlídal Miloš, Ing. (UPSY)
Fakulta:Fakulta informačních technologií VUT v Brně
Pracoviště:Ústav počítačových systémů FIT VUT v Brně
 
Cíle předmětu:
  Orientovat se v nabídce paralelních systémů, umět posoudit komunikační a výpočetní možnosti konkrétní architektury a predikovat výkonnost paralelních aplikaci. Seznámit se s nejdůležitějšími prostředky paralelního programování (MPI, OpenMP), naučit se je prakticky používat a řešit problémy paralelně.
Anotace:
  Předmět pokrývá architekturu i programování paralelních systémů s fukčním a datovým paralelismem. Nejdříve je pojednáno o nejrozšířenějších symetrických multiprocesorech se společnou sběrnicí (SMP) a jejich programování v prostředí OpenMP. Následuje výklad propojovacích sítí jako základ populárních svazků pracovních stanic a dalších systémů se zasíláním zpráv. Jejich programování ve standardizovaném rozhraní MPI je ilustrováno případovými studiemi paralelních aplikací. V poslední skupině jsou datově-paralelní systémy a programování.
Požadované prerekvizitní znalosti a dovednosti:
  Architektura počítače typu von Neumann, hierarchické uspořádání paměťového systému, vyrovnávací paměti a jejich organizace, programování v JSI a v C/C++
Získané dovednosti, znalosti a kompetence z předmětu:
  Přehled principů výstavby paralelních systémů a propojovacích sítí, komunikačních technik a algoritmů. Přehled o možnostech a dovednost paralelizace základních technických úloh, znalost paralelního programování v MPI a v OpenMP.
Dovednosti, znalosti a kompetence obecné:
  Znalost možností a omezení paralelního zpracování, schopnost odhadnout výkonnost paralelních aplikací. Jazyková výbava pro komunikaci a synchronizaci procesů/vláken. Kompetence v technických a programových prostředcích pro náročné vědecké výpočty a simulace.
Osnova přednášek:
 
  • Funkční a datový paralelismus, ukazatele výkonnosti, režie, zákony omezující zrychlení.
  • Multiprocesory se sdílenou pamětí a společnou sběrnicí. Saturace sběrnice, organizace paměti.
  • Koherence vyrovnávacích pamětí, protokoly MSI a MESI. 
  • OpenMP, paralelizace smyček.
  • Synchronizace v OpenMP. zámky a bariéry.
  • Výkonnost paralelních aplikací. 
  • Propojovací a přepínací sítě. směrovací algoritmy.
  • Řízení přenosu zpráv, architektura směrovačů.
  • Zpracování zpráv, kolektivní komunikace a výkonnost komunikací.
  • Programování se zasíláním zpráv (MPI).  
  • Výpočty na svazcích počítačů s použitím párových a kolektivních komunikací.
  • Multiprocesory s DSM.  
  • Datově paralelní systémy a programování, HPF.
Osnova numerických cvičení:
 
  • Model SMP s koherentními vyrovnávacími pamětmi, předvýběr dat, falešné sdílení, paralelizace FFT.
  • Řazení na SMP.
  • Půlsemestrální test.
  • Kolektivní komunikace. Numerické metody v MPI.
  • Paralelizace úloh zpracování obrazů.
Osnova ostatní - projekty, práce:
 
  • Paralelní rychlá Fourierova transformace (FFT) na symetrickém multiprocesoru v OpenMP.
  • Paralelní bitonické řazení - predikce výkonnosti pro danou topologii.
  • Paralelní řešení velkého systému lineárních rovnic nebo maticové násobení na svazku pracovních stanic nebo PC, MPI.
  • Diskrétní optimalizace nebo Dolování dat - svazek pracovních stanic.
Literatura referenční:
 
  • Culler, D.E.: Parallel Computer Architecture - A Hardware / Software Approach. Morgan Kaufmann Publ., 1999, 1025 s., ISBN 1-55860-343-3. 
  • Quinn, M.J: Parallel Programming in C with MPI and OpenMP. McGraw Hill, 2004, 529 s., ISBN: 0072822562.
  • Dally, W.J., Towles, B.: Principles and Practices of Interconnection Networks. Morgan Kaufman Publ., 2004, 550 s., ISBN:0-12-200751-4.
Literatura studijní:
 
  • Dvořák, V.: Architektura a programování paralelních systémů. Skriptum FIT VUT v Brně, 2004, 170 s., ISBN 80-214-2608-X. 
Průběžná kontrola studia:
  Čtyři malé projekty v rozsahu 2 hodin každý; půlsemestrální písemka.
Podmínky zápočtu:
  Získání 20 ze 40 možných bodů během semestru.
 

Vaše IPv4 adresa: 3.90.45.27