Parallel hisoblash va matematikadan dars berish. Parallel hisoblash texnologiyasi asoslari Paralel hisoblash algoritmlari

Asosiy tushunchalar

Klaster tizimlari va taqsimlangan xotiraga ega parallel kompyuterlar uchun eng keng tarqalgan dasturiy texnologiya MPI texnologiyasidir. Bunday tizimlarda parallel jarayonlarning o'zaro ta'sirining asosiy usuli bu xabarlarni bir-birlariga etkazishdir. Bu ushbu texnologiya nomidan - Message Passing Interface-da aks etadi. MPI standarti har bir hisoblash platformasidagi dasturlash tizimida va foydalanuvchi o'z dasturlarini yaratishda kuzatilishi kerak bo'lgan interfeysni o'rnatadi. MPI Fortran va C tillarini qo'llab-quvvatlaydi. Interfeysning to'liq versiyasida 125 dan ortiq protsedura va funktsiyalarning tavsifi mavjud.

MPI interfeysi MIMD (Multiple Instruction Multiple Data) uslubida parallel dasturlarni yaratishni qo'llab-quvvatlaydi, bu jarayonlarni turli xil manba kodlari bilan birlashtirishni anglatadi. Ammo bunday dasturlarni yozish va disk raskadrovka qilish juda qiyin, shuning uchun amalda dasturchilar ko'pincha parallel dasturlashning SPMD (Single Program Multiple Data) modelidan foydalanadilar, uning ichida barcha parallel jarayonlar uchun bir xil kod qo'llaniladi. Hozirgi kunda ko'proq MPI dasturlari "; iplar" bilan ishlashni qo'llab-quvvatlamoqda ;.

MPI kutubxona bo'lganligi sababli dasturni tuzishda tegishli kutubxona modullarini bog'lash kerak.

Ishga tushadigan faylni olgandan so'ng, siz uni kerakli miqdordagi protsessorlarda ishga tushirishingiz kerak. Ishga tushgandan so'ng, xuddi shu dastur barcha ishlaydigan jarayonlar tomonidan bajariladi, tizimga bog'liq ravishda bajarish natijasi terminalga chiqariladi yoki faylga yoziladi.

MPI dasturi bu o'zaro ta'sir o'tkazuvchi parallel jarayonlar to'plamidir. Barcha jarayonlar bir marta yumshatilib, dasturning parallel qismini tashkil qiladi. MPI dasturini amalga oshirish jarayonida qo'shimcha jarayonlar yaratishga yoki mavjudlarini yo'q qilishga yo'l qo'yilmaydi (MPIning keyingi variantlarida bunday imkoniyat paydo bo'ldi). Har bir jarayon o'z manzil maydonida ishlaydi, MPI-da umumiy o'zgaruvchilar yoki ma'lumotlar mavjud emas. Jarayonlar o'rtasidagi aloqaning asosiy usuli - bu aniq xabarlarni yuborish.

Parallel dasturiy jarayonlarning o'zaro ta'sirini lokalizatsiya qilish uchun siz jarayonlar guruhlarini yaratishingiz mumkin, ularga aloqa uchun alohida muhit - kommunikator kerak. Yaratilgan guruhlarning tarkibi o'zboshimchalik bilan. Guruhlar mutlaqo bir-biriga mos kelishi, bir-birining ichiga kirishi, bir-birining ustiga tushmasligi yoki qisman bir-biriga yopishmasligi mumkin. Jarayonlar faqat ma'lum bir kommunikator ichida o'zaro ta'sir qilishi mumkin, turli xil kommunikatorlarda yuborilgan xabarlar kesishmaydi va bir-biriga xalaqit bermaydi. Kommunikatorlar Fortran-da butun son turiga ega (C da, oldindan belgilangan MPI Comm turi).

Dastur boshida har doim barcha yumshatilgan jarayonlar keng qamrovli kommunikator doirasida ishlaydi deb taxmin qilinadi. Ushbu kommunikator har doim mavjud va MPI dasturidagi barcha jarayonlarning o'zaro ta'siri uchun xizmat qiladi. Jarayonlarning barcha o'zaro ta'siri ma'lum bir kommunikator doirasida amalga oshiriladi, turli xil kommunikatorlarda etkazilgan xabarlar bir-biriga hech qanday tarzda xalaqit bermaydi.

Qisqartirilgan ko'rsatmalar to'plami (RISC) protsessorlari. Protsessorning RISC arxitekturasi (RISC - qisqartirilgan ko'rsatmalar to'plami kompyuteri) ko'rsatmalar to'plamini soddalashtirish orqali uning tezligini oshirish g'oyasiga asoslanadi.

Tadqiqotlar shuni ko'rsatdiki, odatdagi dasturdagi ko'rsatmalarning 33% ma'lumot uzatish, 20% shartli tarmoqlar va yana 16% arifmetik va mantiqiy operatsiyalardir. Buyruqlarning aksariyat qismida manzilni hisoblash tez, bir tsiklda bajarilishi mumkin. Murakkab adreslash usullari vaqtning taxminan 18% ishlatiladi. Operandalarning 75% ga yaqini skalyar, ya'ni butun, o'zgaruvchan, haqiqiy, ramziy tipdagi o'zgaruvchilar va boshqalar. Skalalar o'zgaruvchilarining 80% mahalliy, 90% struktura o'zgaruvchilar globaldir. Shunday qilib, operandalarning aksariyati skalalar turidagi mahalliy operandalardir. Ular registrlarda saqlanishi mumkin.

Statistikaga ko'ra, ko'p vaqt "; subroutine qo'ng'iroq"; va "; qo'shimcha dasturdan qaytish" ;. Kompilyatsiya qilinganda, ushbu operatorlar ko'p sonli xotira kirishlari bilan mashina ko'rsatmalarining uzun ketma-ketliklarini hosil qiladi, shuning uchun ushbu operatorlarning ulushi atigi 15% bo'lsa ham, ular protsessor vaqtining asosiy qismini iste'mol qiladilar. Faqatgina 1% subroutinlarning oltitadan ko'p parametrlari mavjud va 7% ga yaqin subroutinlar oltidan ortiq mahalliy o'zgaruvchiga ega.

Ushbu statistikani o'rganish natijasida odatdagi dasturda oddiy operatsiyalar ustunlik qiladi: arifmetik, mantiqiy va ma'lumot uzatish. Oddiy manzil rejimlari ham ustunlik qiladi. Aksariyat operandalar skalyar mahalliy o'zgaruvchilar. Hosildorlikni oshirishning eng muhim manbalaridan biri bu operatorlarni optimallashtirishdir.

RISC arxitekturasi quyidagi printsiplar va g'oyalarga asoslanadi. Ko'rsatmalar to'plami cheklangan bo'lishi kerak va faqat sodda ko'rsatmalarni o'z ichiga olishi kerak, ularni namuna olish va dekodlashdan keyin bitta tsikl yoki bir oz ko'proq vaqtni bajarish vaqti. Konveyerni qayta ishlash qo'llaniladi. RISC bo'yicha oddiy ko'rsatmalarni apparatda samarali bajarish mumkin, murakkab ko'rsatmalar esa faqat mikro dasturlash yordamida amalga oshiriladi. RISC arxitekturasi holatida boshqaruv moslamasining dizayni soddalashtirilgan va bu protsessorni yuqori soatlik chastotalarda ishlashga imkon beradi. Oddiy buyruqlardan foydalanish ikkala ma'lumot uzatish va buyruqlarning bajarilishini samarali amalga oshirishga imkon beradi.

RISC protsessorida murakkab ko'rsatmalar ko'proq vaqt talab etadi, ammo ularning soni nisbatan kichik. RISC protsessorlarida oz miqdordagi ko'rsatmalar xotiraga qaratilgan. Operativ xotiradan ma'lumotlarni olish uchun bir necha soatlik tsikl kerak bo'ladi. Aksariyat buyruqlar registrlarda operandlar bilan ishlaydi. Barcha buyruqlar yagona formatga va qat'iy uzunlikka ega. Bu yuklash va dekodlash buyruqlarini osonlashtiradi va tezlashtiradi, chunki, masalan, kod va manzil maydoni har doim bir xil holatda bo'ladi. O'zgaruvchilar va hisob-kitoblarning oraliq natijalari registrlarda saqlanishi mumkin. O'zgaruvchanlik statistikasini hisobga olganda, mahalliy o'zgaruvchilar va protsedura parametrlarining ko'pini registrlarda saqlash mumkin. Agar yangi protsedura chaqirilsa, registrlar tarkibi odatda tezkor xotiraga ko'chiriladi, ammo registrlar soni etarlicha katta bo'lsa, uzoq muddatli xotira almashinuvi operatsiyalarining muhim qismini ularni registrlar bilan almashtirish orqali oldini olish mumkin. RISC protsessorining soddalashtirilgan arxitekturasi tufayli chipda qo'shimcha registrlar to'plamini joylashtirish uchun joy mavjud.

Hozirgi vaqtda RISC-arxitektura bilan hisoblash tizimlari ish stantsiyalari va serverlarining jahon kompyuter bozorida etakchi o'rinni egallab turibdi. RISC arxitekturasining rivojlanishi kompilyatorlarning rivojlanishi bilan bog'liq bo'lib, ular katta registr fayllaridan, quvurlar va boshqalardan samarali foydalanishi kerak.