Boshqaruv hamda pedagog kadrlarni qayta tayyorlash va ularni malakasini oshirish instituti

Nazorat savollari 
1. CUDA texnologiyasidan foydalanish
2. CUDA ning afzalliklari
3. CUDA texnologiyasining asosiy xususiyatlarini 

---

169 
28-Ma’ruza. 
MPI texnologiyasi yordamchi parallellashtirish kutubxonalari 
 
Reja:
1. 
MPI texnologiyasi
 
2. 
Parallellashtirish kutubxonalari
 
 
Tayanch iboralar:
MPI texnologiyasi,
 
 
MPI (xabarni uzatish interfeysi) - bu xabarlarni uzatish nuqtai nazaridan 
parallel jarayonlarning ishlashini qo'llab-quvvatlash uchun mo'ljallangan 
funktsiyalar kutubxonasi. 
MPI dasturchiga mashina arxitekturasidan (bir protsessorli yoki umumiy 
yoki mahalliy xotiraga ega ko'p protsessorli), filiallarning nisbiy joylashuvidan (bir 
xil protsessorda yoki turli protsessorlarda) qat'i nazar, parallel dastur doirasidagi 
jarayonlarning o'zaro ta'sirining yagona mexanizmini taqdim etadi va API 
(dasturlar dasturchilari interfeysi, ya'ni dastur ishlab chiquvchi interfeysi).
Operatsion tizim MPI-dan foydalanadigan dasturni disk raskadrovka qilish 
osonroq (parallel dasturlashda stereotip xatolarga yo'l qo'yish imkoniyati kamroq) 
va boshqa platformalarga tezroq ko'chiriladi (ideal, oddiy qayta kompilyatsiya 
qilish orqali). 
Kamida MPI quyidagilarni o'z ichiga oladi: dasturlash kutubxonasi (C, C++ 
va FORTRAN tillari uchun sarlavha va kutubxona fayllari) va ilovalarni 
yuklovchi. Qo'shimcha ravishda: profil yaratish 
Kutubxona versiyasi (parallellashtirishning optimalligini aniqlash uchun 
parallel dasturni sinovdan o'tkazish bosqichida foydalaniladi); X-Window uchun 
grafik va tarmoq interfeysi bilan yuklovchi va boshqalar. 
MPI katalog tuzilmasi dasturchi foydalanuvchilarga yaxshi tanish: bin, 
include, lib, man, src, ... Minimal funktsiyalar to'plamini o'rganish oson va 
ishonchli dasturni tezda yozish imkonini beradi. MPI funktsiyalarining butun 

---

170 
arsenalidan foydalanish ishonchlilikni saqlab, tezkor dasturni olish imkonini 
beradi. 
Bir nechta kompyuterlar bir-biri bilan uchta usuldan biri bilan bog'lanishi 
mumkin: 
1. Umumiy xotira orqali Unix u bilan ishlash uchun qulayliklarga ega 
(Unixning BSD va ATT-klonlari uchun har xil)', 
2. Ko'p protsessorli hisoblash tizimlarining yuqori tezlikdagi mashina 
ichidagi tarmog'i orqali; 
3. Odatda TCP / IP protokolida ishlaydigan tarmoq orqali. 
MPI dasturiy vositalar to'plami yuqori tezlikdagi mashina ichidagi tarmoq 
orqali ulangan ko'p protsessorli kompyuter tizimlari uchun standart sifatida ishlab 
chiqilgan, ammo MPI uchta ulanish usulining har qandayida ham ishlashi mumkin. 
Biroq, MPI ning birinchi nashri quyidagi cheklov tufayli standart bo'lib qolmadi: 
MPI funktsiyalari orqali bir-biri bilan aloqa qiladigan barcha jarayonlar bir 
vaqtning o'zida ularning bajarilishini boshlaydi va tugatadi. 
Bu MPI dan parallel ilovalar uchun skelet sifatida foydalanishga to'sqinlik 
qilmaydi, lekin navbat tizimlari (mijoz-server ilovalari va boshqalar) eski asboblar 
to'plami asosida ishlab chiqilishi kerak. 
Birgalikda xotira va semaforlar orqali past darajadagi uzatish MPI kabi 
kutubxonalardan foydalanish afzalroq, degan nuqtai nazar mavjud, chunki ular 
tezroq. Bunga quyidagi e'tirozlar bildirilishi mumkin: 
1. Yaxshi parallel dasturda vaqtning kichik qismi filiallar o'rtasidagi haqiqiy 
o'zaro ta'sirga (ma'lumotlarni uzatish va sinxronizatsiya) sarflanadi - umumiy ish 
vaqtining bir necha foizi. Shunday qilib, transferlarni sekinlashtirish, masalan, ikki 
marta, ishlashning umumiy pasayishini bildirmaydi - bu bir necha foizga tushadi. 
Ko'pincha bu ishlashning pasayishi qabul qilinadi va boshqa fikrlar bilan oqlanadi. 
2.
MPI tabiatan tezkor vositadir. Tezlikni oshirish uchun u amaliy 
dasturchilar ko'pincha o'ylamaydigan usullardan foydalanadi. Masalan: 

---

171 
•
uch marta buferlash ma'lumotlarni jo'natishda kechikishlarning oldini 
olishga imkon beradi - qabul qiluvchi filial hali qabul qilishga 
tayyorlanmagan bo'lsa ham, nazorat darhol uzatuvchi filialga qaytariladi; 
•
MPI ko'p ish zarralarini ishlatadi, ishining ko'p qismini past ustuvorliklarga 
qo'yadi; buferlash va multithreading ga o'tkazish paytida amaliy dasturning 
ishlamay qolishning salbiy ta'sirini kamaytiradi; 
•
bittadan hammaga ma'lumotlarni uzatish ishtirokchi filiallar soniga emas, 
balki ushbu raqamning logarifmiga mutanosib vaqt oladi. 
3.
Dasturlarni boshqa platformalarga o'tkazish qayta yozish va qayta tuzatishni 
talab qilmaydi. Keng doiradagi odamlar tomonidan foydalaniladigan dastur uchun 
ajralmas sifat. Shuni ham hisobga olish kerakki, mashinalar allaqachon paydo 
bo'lmoqda, ularda dasturlararo o'zaro ta'sir vositalari orasida faqat MPI mavjud. 
4.
MPI parallel dasturlashda yo'l qo'yilgan odatiy xatolardan sug'urta qilmaydi, 
ammo bu kutubxonadan foydalanish ularning ehtimolini kamaytiradi. Umumiy 
xotira va semaforlar bilan ishlash funktsiyalari juda oddiy, ibtidoiy. Ularning 
yordami bilan dastur uchun zarur bo'lgan harakatni xatosiz amalga oshirish 
ehtimoli ko'rsatmalar sonining ko'payishi bilan tez kamayadi; disk raskadrovka 
orqali xatoni topish ehtimoli nolga yaqin, chunki disk raskadrovka vositasi ba'zi 
filiallarning bajarilishida kechikishni keltirib chiqaradi va shu bilan boshqalarning 
normal ishlashiga imkon beradi (filiallar umumiy ma'lumotlar uchun raqobatni 
to'xtatadi). 
Malumot uchun kutubxona sarlavhasi fayllarini 
i