Massive Parallel Processing ( mpp)

Massive Parallel Processing ( MPP)-ommaviy parallelizm(ommaviy parallel arxitektura) bilan tizim.

Tizim alohida tugunlardan (inglizcha) qurilgan. node), protsessor, mahalliy RAM banki, aloqa protsessorlari yoki tarmoq adapterlari, ba'zan qattiq disklar va boshqa i / u qurilmalari mavjud. Ushbu tugunning RAM bankiga kirish faqat bir xil tugundagi protsessorlarga ega. Tugunlar maxsus aloqa kanallari bilan bog'lanadi.

Foydalanuvchi ulangan protsessorning mantiqiy raqamini aniqlab, boshqa protsessorlar bilan xabarlarni tashkil qilishi mumkin. Ommaviy parallel arxitektura mashinalarida operatsion tizimning ikkita varianti qo'llaniladi:

• 
  Birida to'liq operatsion tizim faqat nazorat mashinasida (front-end) ishlaydi va har bir alohida tugunda parallel dasturning joylashgan filialining ishlashini ta'minlaydigan operatsion tizimning keskin qisqartirilgan versiyasi mavjud.
  
• 
  Ikkinchi variantda, har bir modul to'liq ishlaydi, ko'pincha UNIX-shunga o'xshash tizim alohida-alohida o'rnatiladi.
  

Arxitektura afzalliklari:

Alohida xotira tizimlari asosiy afzalligi yaxshi ölçeklenebilirliğini bo'ladi: alohida xotira bilan mashinalari, SMP tizimlari farqli o'laroq, har bir protsessor faqat uning mahalliy xotira foydalanish imkoniyatiga ega, va shuning uchun hech qanday ehtiyoj potaktovoy CPU sinxronlashtirish bor. 1990-larda deyarli barcha ishlash yozuvlari bir necha ming protsessordan (ASCI Red, ASCI Blue Pacific) tashkil topgan bunday arxitekturaning mashinalariga o'rnatiladi.

Arxitektura kamchiliklari:

• 
  umumiy xotiraning etishmasligi protsessor almashinuvi tezligini sezilarli darajada pasaytiradi, chunki protsessorlar o'rtasida almashish uchun mo'ljallangan umumiy saqlash muhiti yo'q. Protsessorlar o'rtasida xabar almashishni amalga oshirish uchun maxsus dasturlash texnikasi talab qilinadi;
  
• 
  har bir protsessor faqat cheklangan miqdordagi mahalliy xotira bankidan foydalanishi mumkin;
  
• 
  ushbu me'moriy kamchiliklar tufayli tizim resurslaridan maksimal darajada foydalanish uchun katta kuch talab etiladi. Bu alohida xotira bilan ommaviy parallel tizimlar uchun dasturiy ta'minotning yuqori narxini belgilaydi.
  
• 
  Hozirgi vaqtda mikroprotsessorlar va ular asosidagi tizimlarning rivojlanish tendentsiyasi ularning ishlashini oshirishga qaratilgan. Har qanday tizimning hisoblash imkoniyatlari ikkita omil tufayli eng yuqori ko'rsatkichlarga erishadi: yuqori tezlikdagi elementlardan foydalanish va ko'p sonli operatsiyalarni parallel bajarish.
  
• 
  Parallel ma'lumotlarni qayta ishlash tizimlarini tasniflashning bir nechta variantlari mavjud. Eng qadimgi va eng mashhuri 1966 yilda M. Flinn tomonidan taklif qilingan hisoblash tizimlari arxitekturasining tasnifidir ( protsessor tomonidan qayta ishlangan elementlar, ko'rsatmalar yoki ma'lumotlar ketma-ketligi bo'lgan oqim kontseptsiyasiga asoslangan. soni asosida. ko'rsatmalar oqimlari va ma'lumotlar oqimlari, arxitektura sinflari farqlanadi). Biz ko'p protsessorli va ko'p kompyuterli tizimlarning tasnifini boshqa mezon - tizimning hisoblash resurslarining bo'linish darajasiga asoslangan holda ko'rib chiqamiz. 
  
• 
  Bunday holda, tizimlarning quyidagi 4 klassi ajralib turadi:
  
• 
  simmetrik multiprocessing (Symmetric MultiProcessing) yoki SMP-tizimli tizimlar;
  
• 
  bir xil bo'lmagan xotiraga kirish texnologiyasi (Non-Uniform Memory Access) yoki NUMA-tizimlari asosida qurilgan tizimlar;
  
• 
  klasterlar;
  
• 
  massiv parallelizmga ega hisoblash tizimlari (Massively Parallel Processor) yoki MPP-tizimlari [2]
  
• 
   
  
• 
  1.2.1 Klasterlar va MPP - Tizimlar
  
• 
  Klaster - bu birgalikda qayta ishlangan ma'lumotlarni (odatda disklar yoki disk massivlari to'plami) saqlash uchun umumiy umumiy resursga ega bo'lgan va yuqori tezlikda ishlaydigan magistral bilan birlashtirilgan bir nechta kompyuterlar tizimi (ko'p hollarda tijoratda mavjud). [1.1-rasm). 3]
  
• 
  Klasterli tizimda ba'zi bir taqsimlangan ilovalar parallel ravishda bir nechta tugunlarda umumiy ma'lumotlar to'plamini qayta ishlaydi, odatda foydalanuvchi bitta mashinada ishlash xayoliga ega bo'ladi.
  
• 
  Odatda, klasterli tizimlar klasterdagi barcha tugunlarda ishlash uchun umumiy ilovalar to'plami uchun yagona operatsion muhitni ta'minlamaydi. Ya'ni, klasterdagi har bir kompyuter avtonom tizim bo'lib, alohida OT instantsiyasiga ega va faqat unga tegishli bo'lgan o'zining tizim resurslari: o'rnatilgan foydalanuvchilar to'plami, tizim buferlari, almashtirish maydoni va boshqalar. Unda ishlaydigan dastur faqat ko'rishi mumkin. umumiy disklar yoki alohida bo'limlar xotirasi. Klaster tugunlari bunday konfiguratsiya uchun maxsus yozilgan ilovalarni ishga tushiradi, umumiy ma'lumotlar to'plamini parallel ravishda qayta ishlaydi. Mashinalarning har birida ular klaster dasturlari yordamida o'zaro ta'sir qiluvchi bir qator jarayonlar, dasturlar bilan ifodalanadi. Shunday qilib, klaster dasturiy ta'minoti tugunlar o'rtasidagi o'zaro ta'sir va umumiy ma'lumotlarga kirishni sinxronlashtirish uchun vositadir. Klaster parallel tizim sifatida operatsion tizim darajasida emas, balki dastur darajasida shakllanadi [3].
  
• 
   
  
• 
  
  
• 
  Guruch. 1.1 Klaster tuzilishi
  
• 
  
  
• 
  Hozirgi vaqtda bunday tizimlar ikkita asosiy qo'llash sohasiga ega: parallel ma'lumotlar bazasi serverlari va yuqori ishonchli hisoblash tizimlari. Parallel DBMS bozori aslida amaliy klasterlar bozoridir. Yuqori ishonchli tizimlar doimiy, uzluksiz ishlashni talab qiluvchi ba'zi muhim ilovalarni mustaqil ravishda boshqaradigan tugunlar guruhidir. Ya'ni, bunday tizimda, apparat darajasida, ishonchlilikni oshirishning asosiy mexanizmi aslida qo'llab-quvvatlanadi - ortiqcha. Bundan tashqari, tugunlar "issiq" deb ataladigan kutish rejimida va agar biron bir tugun ishlamay qolsa, ularning har biri istalgan vaqtda hisoblashni davom ettirishga tayyor. Bunday holda, muvaffaqiyatsiz tugundagi barcha ilovalar avtomatik ravishda kompleksdagi boshqa mashinalarga o'tkaziladi. Bunday tizim, shuningdek, umumiy ma'lumotlarni parallel qayta ishlashga ega bo'lmasa-da, rasmiy ravishda klasterdir. Ushbu ma'lumotlar odatda klaster ichida ishlaydigan ilovalar tomonidan qo'llaniladi va barcha tugunlar uchun mavjud bo'lishi kerak.
  
• 
  Agar klasterda uning tugunlari ma'lum resurslarni taqsimlasa, u holda boshqa sinfdagi parallel tizimlar - massiv parallel hisoblash tizimlari (MPP) - faqat yuqori tezlikda ishlaydigan magistral yoki aloqa kanallari bilan bog'langan alohida butunlay mustaqil kompyuterlardan qurilgan (4-rasm). Bu yuqori samarali tarmoq muhitidan foydalangan holda ulangan bir nechta sotuvda mavjud bo'lgan UNIX mashinalari yoki kalit bilan birlashtirilgan alohida funktsional bloklarning maxsus ishlab chiqilgan tizimi bo'lishi mumkin.  
  
• 
   
  
• 
  
  
• 
  
  
• 
  Guruch. 1.2 MPP tuzilishi - tizimlar
  
• 
   
  
• 
  Bunday tizimda manzil maydoni mantiqiy jihatdan bir-biriga bog'lanmagan va boshqa protsessor tomonidan apparatda kirish imkoni bo'lmagan alohida manzil maydonlaridan iborat. [4]
  
• 
  Bunday holda, ma'lumotlar almashinuvi uchun protsessorlar o'rtasida xabar uzatish mexanizmi qo'llaniladi. Shuning uchun bu mashinalar ko'pincha xabar o'tkazuvchi mashinalar deb ataladi. Foydalanuvchi o'zi ulangan protsessorning mantiqiy raqamini aniqlashi va boshqa protsessorlar bilan xabar almashishni tashkil qilishi mumkin.
  
• 
  MPP arxitekturasining mashinalarida operatsion tizimning ikkita varianti qo'llaniladi. Ulardan birida to'liq huquqli operatsion tizim faqat boshqaruv mashinasida ishlaydi (front-end); Har bir alohida modulda OT ning qattiq qisqartirilgan versiyasi ishlaydi, bu faqat unda joylashgan parallel dasturning bo'limining ishlashini ta'minlaydi. Ikkinchi versiyada har bir modulda to‘laqonli, qoida tariqasida, alohida o‘rnatilgan UNIX-ga o‘xshash OT ishlaydi [5].
  
• 
  Bunday tizimda dasturlash ancha qiyin vazifadir.
  
• 
  Parallel ilovalarning ishlashi uchun maxsus vositalar va maxsus tizim dasturiy ta'minoti talab qilinadi, ular MPP tizimining tugunlari bo'ylab taqsimlangan parallel jarayonlarni, ular o'rtasida xabarlar almashinuvi bilan ishlashga qaratilgan.
  
• 
  Massiv parallel mashinalarning unumdorligini ulardagi protsessorlar sonini ko'paytirish orqali yaxshilash ma'lum cheklovlarga ega. MPP tizimiga qancha protsessorlar kiritilgan bo'lsa, boshqarish va ma'lumotlarni uzatish kanallari shunchalik uzun bo'ladi va shuning uchun takt chastotasi past bo'ladi. Natijada 512 va hatto 64K protsessorgacha bo'lgan yirik mashinalar uchun massivlik darajasining oshishi mashina hajmining oshishi bilan emas, balki so'nggi yillarda mumkin bo'lgan sxemalarning integratsiya darajasining oshishi bilan bog'liq. qurilmalarda elementlarni joylashtirish zichligini keskin oshirish. Bunday tizimlarda protsessorlararo aloqa tarmog'ining topologiyasi har xil bo'lishi mumkin.
  
• 
  MPP tizimlarining asosiy afzalligi ularning yaxshi miqyosliligidir: SMP tizimlaridan farqli o'laroq, bu erda har bir protsessor faqat mahalliy xotirasiga kirish huquqiga ega va shuning uchun protsessorlarni soat yo'nalishi bo'yicha sinxronlashtirishga hojat yo'q. Bugungi kunda deyarli barcha ishlash rekordlari bir necha ming protsessordan iborat bo'lgan ushbu arxitekturadagi mashinalarda o'rnatiladi.
  
• 
  Ushbu turdagi tizimlarning asosiy kamchiliklari quyidagilardan iborat: umumiy xotiraning yo'qligi protsessorlararo almashinuv tezligini sezilarli darajada pasaytiradi, chunki protsessorlar o'rtasida almashish uchun mo'ljallangan ma'lumotlarni saqlash uchun umumiy muhit mavjud emas; protsessorlar o'rtasida xabar almashishni amalga oshirish uchun maxsus dasturlash texnikasini talab qiladi; har bir protsessor mahalliy xotira bankidan faqat cheklangan miqdorda foydalanishi mumkin; Ushbu arxitektura kamchiliklari tufayli tizim resurslaridan maksimal darajada foydalanish uchun sezilarli harakatlar talab etiladi, bu esa alohida xotiraga ega MPP tizimlari uchun dasturiy ta'minotning yuqori narxiga olib keladi [6].
  
• 
  Keling, har xil turdagi ma'lumotlarni parallel qayta ishlash tizimlarini qo'llash sohalariga oid ba'zi natijalarni umumlashtiramiz.
  
• 
  SMP tizimlari ko'pgina ilovalar uchun talab qilinadigan unumdorlikni ta'minlash uchun etarlicha qobiliyatga ega: protsessorlar sonini ko'paytirish va uning yoniga boshqa kompyuter qo'ymaslik tabiiydir. Bitta protsessorni qo'shish unumdorlikni oshirish uchun kafolatlanadi, lekin masalan, klasterga tugun qo'shish etarli tezlashuvni ta'minlamaydi. Bundan tashqari, ba'zi hollarda, klaster tugunlari umumiy resurslarga kirish uchun faol raqobatlashsa, tizimning umumiy ishlashi hatto yomonlashishi mumkin va boshi berk ko'rinishlar parallel ishlov berishning afzalliklarini inkor etadi.
  
• 
  NUMA tizimlari juda aniq maqsadlar uchun yaratilgan - keng ko'lamli hisob-kitoblarni ta'minlash uchun. Ushbu arxitekturadan foydalanadigan tizimlar, birinchi navbatda, sakkizdan ortiq protsessorni talab qiladigan noyob, yuqori sifatli, yuqori unumdor ilovalar uchun ishlatiladi. Biroq, ular qimmat va noyob dasturiy ta'minotni talab qiladi (dastur dasturlari va OT).
  
• 
  Zamonaviy tizimlar uchun unumdorlik, miqyoslilik, narx uchun an'anaviy talablardan tashqari, ularning ishlashi ishonchliligiga qo'shimcha yuqori talablar qo'yiladi. Aynan shu sabablarga ko'ra klasterlar yoki MPP mashinalariga asoslangan hisoblash tizimlari tobora ommalashib bormoqda.
  
• 
  MPP tizimlari bir qator afzalliklarga ega, ularning asosiysi barcha ko'rib chiqilgan arxitekturalar orasida eng yaxshi miqyoslash qobiliyatidir. Shuning uchun MPP kompyuterlari odatda katta resurslarni talab qiluvchi hisob-kitoblar uchun ishlatiladi. Albatta, ular katta ma'lumotlar bazalarini qurishda ham, xatolarga chidamli hisoblash tizimlarida ham qo'llaniladi. Ammo bu erda ulardan foydalanish juda cheklangan. Bu qisman ularning klasterlarga qaraganda qimmatroq va boshlang'ich narxi ancha yuqori ekanligi bilan bog'liq. Klaster o'zboshimchalik bilan tuzilgan nisbatan arzon mashinalardan tuzilishi mumkin.
  

Parallel ma'lumotlarni qayta ishlash tizimlarining yuqoridagi tasnifi o'zboshimchalik bilan amalga oshiriladi. Hisoblash tizimi dizaynerlari biron bir maxsus toifadagi mashinani loyihalashtirmaydilar, balki yanada samaraliroq arxitekturani yaratishga harakat qilishadi. Bundan tashqari, foydalanuvchining o'zi standart komponentlardan foydalangan holda ma'lum bir muammoni hal qilish uchun arxitektura va funktsional jihatdan eng mos bo'lgan kompleksni loyihalashi mumkin