Parallel hisoblash

IBM kompaniyalari Moviy gen / P. katta darajada parallel superkompyuter

Parallel hisoblash ning bir turi hisoblash bu erda ko'plab hisob-kitoblar yoki bajarilish jarayonlar bir vaqtning o'zida amalga oshiriladi.^[1] Katta muammolarni ko'pincha kichikroq muammolarga bo'lish mumkin, keyinchalik ularni bir vaqtning o'zida hal qilish mumkin. Parallel hisoblashning bir necha xil shakllari mavjud: bit darajali, ko'rsatma darajasi, ma'lumotlarva vazifa parallelligi. Parallelizm uzoq vaqtdan beri ishlatilgan yuqori samarali hisoblash, ammo jismoniy cheklovlarning oldini olish tufayli keng qiziqish uyg'otdi chastota miqyosi.^[2] So'nggi yillarda kompyuterlar tomonidan elektr energiyasini iste'mol qilish (va natijada issiqlik ishlab chiqarish) tashvishga solmoqda.^[3] parallel hisoblash inverktiv paradigma bo'ldi kompyuter arxitekturasishaklida, asosan ko'p yadroli protsessorlar.^[4]

Parallel hisoblash bilan chambarchas bog'liq bir vaqtda hisoblash- ular tez-tez birgalikda ishlatiladi va ko'pincha bir-biriga qarama-qarshi bo'lib turadi, garchi ikkalasi bir-biridan farq qiladi: bir-biriga o'xshashliksiz parallellik bo'lishi mumkin (masalan, bit darajasidagi parallellik) va parallelliksiz bir vaqtda (masalan, tomonidan ko'p vazifalarni bajarish kabi) vaqtni taqsimlash bitta yadroli protsessorda).^[5][6] Parallel hisoblashda hisoblash vazifasi odatda mustaqil ravishda qayta ishlanishi mumkin bo'lgan va natijalari tugagandan so'ng birlashtiriladigan bir nechta, ko'pincha juda o'xshash kichik vazifalarga bo'linadi. Aksincha, bir vaqtda hisoblashda turli jarayonlar ko'pincha tegishli vazifalarni hal qilmaydi; ular qilganda, odatdagidek tarqatilgan hisoblash, alohida vazifalar har xil xarakterga ega bo'lishi mumkin va ko'pincha ba'zi birlarini talab qiladi jarayonlararo aloqa ijro paytida.

Parallel kompyuterlar, taxminan, apparatlarning parallellikni qo'llab-quvvatlash darajasiga qarab tasniflanishi mumkin ko'p yadroli va ko'p protsessor bir nechta kompyuterlar ishlov berish elementlari bitta mashina ichida esa klasterlar, MPPlarva panjara bitta topshiriq ustida ishlash uchun bir nechta kompyuterlardan foydalaning. Ixtisoslashgan parallel kompyuter arxitekturalari ba'zida an'anaviy vazifalarni tezlashtirish uchun an'anaviy protsessorlar bilan birga qo'llaniladi.

Ba'zi hollarda parallellik dasturchi uchun shaffof, masalan, bit darajasida yoki buyruq darajasidagi parallellikda, ammo aniq parallel algoritmlar, ayniqsa, paralellikdan foydalanadiganlarni yozishdan ko'ra qiyinroq ketma-ket birlari,^[7] chunki bir xillik potentsialning bir nechta yangi sinflarini taqdim etadi dasturiy ta'minotdagi xatolar, ulardan poyga shartlari eng keng tarqalgan. Aloqa va sinxronizatsiya turli xil kichik topshiriqlar orasida, odatda, dasturning optimal parallel ishlashini ta'minlash uchun eng katta to'siqlar mavjud.

Nazariy yuqori chegara ustida tezlikni oshirmoq Parallellashtirish natijasida bitta dasturning qiymati Amdahl qonuni.

Mundarija

• 
  1 Fon
  
  • 
    1.1 Amdahl qonuni va Gustafson qonuni
    
  • 
    1.2 Bog'liqliklar
    
  • 
    1.3 Musobaqa shartlari, o'zaro chiqarib tashlash, sinxronizatsiya va parallel sekinlashuv
    
  • 
    1.4 Nozik taneli, qo'pol donali va uyatli parallellik
    
  • 
    1.5 Muvofiqlik modellari
    
  • 
    1.6 Flinn taksonomiyasi
    
• 
  2 Parallellik turlari
  
  • 
    2.1 Bit darajadagi parallellik
    
  • 
    2.2 Ko'rsatma darajasidagi parallellik
    
  • 
    2.3 Vazifa parallelligi
    
  • 
    2.4 Superword darajasi parallelligi
    
• 
  3 Uskuna
  
  • 
    3.1 Xotira va aloqa
    
  • 
    3.2 Parallel kompyuterlar sinflari
    
    • 
      3.2.1 Ko'p yadroli hisoblash
      
    • 
      3.2.2 Nosimmetrik ko'p ishlov berish
      
    • 
      3.2.3 Tarqatilgan hisoblash
      
    • 
      3.2.4 Ixtisoslashgan parallel kompyuterlar
      
• 
  4 Dasturiy ta'minot
  
  • 
    4.1 Parallel dasturlash tillari
    
  • 
    4.2 Avtomatik parallellashtirish
    
  • 
    4.3 Ilovani tekshirish punkti
    
• 
  5 Algoritmik usullar
  
• 
  6 Xatolarga bardoshlik
  
• 
  7 Tarix
  
• 
  8 Biologik miya katta parallel kompyuter sifatida
  
• 
  9 Shuningdek qarang
  
• 
  10 Adabiyotlar
  
• 
  11 Qo'shimcha o'qish
  
• 
  12 Tashqi havolalar
  

Fon


ROBOFOREX

Дарим миллион долларов в честь дня рождения

Регистрируйся, торгуй, побеждай

УЗНАТЬ БОЛЬШЕ

An'anaga ko'ra, kompyuter dasturlari uchun yozilgan ketma-ket hisoblash. Muammoni hal qilish uchun algoritm ko'rsatmalarning ketma-ket oqimi sifatida qurilgan va amalga oshirilgan. Ushbu ko'rsatmalar a-da bajariladi markaziy protsessor bitta kompyuterda. Bir vaqtning o'zida faqat bitta ko'rsatma bajarilishi mumkin - bu buyruq tugagandan so'ng keyingisi bajariladi.^[8]

Parallel hisoblash, boshqa tomondan, muammoni hal qilish uchun bir vaqtning o'zida bir nechta ishlov berish elementlaridan foydalanadi. Bunga har bir ishlov berish elementi boshqalar bilan bir vaqtda algoritmning bir qismini bajarishi uchun muammoni mustaqil qismlarga ajratish orqali erishiladi. Qayta ishlash elementlari xilma-xil bo'lishi mumkin va bir nechta protsessorlarga ega bo'lgan bitta kompyuter, bir nechta tarmoq kompyuterlari, ixtisoslashtirilgan qo'shimcha qurilmalar yoki yuqoridagi har qanday kombinatsiya kabi manbalarni o'z ichiga oladi.^[8] Tarixiy parallel hisoblash ilmiy hisoblash va ilmiy muammolarni simulyatsiya qilish uchun ishlatilgan, ayniqsa tabiiy va muhandislik fanlari, masalan. meteorologiya. Bu parallel apparat va dasturiy ta'minotni loyihalashtirishga olib keldi, shuningdek yuqori samarali hisoblash.^[9]

Chastotani o'lchash yaxshilanishining ustun sababi edi kompyuterning ishlashi 1980 yillarning o'rtalaridan 2004 yilgacha ish vaqti dasturning bir buyruq uchun o'rtacha vaqtga ko'paytirilgan ko'rsatmalar soniga teng. Har bir narsani doimiy ravishda ushlab turish, soat chastotasini ko'paytirish ko'rsatmani bajarish uchun o'rtacha vaqtni pasaytiradi. Shunday qilib chastotaning ko'payishi hamma uchun ish vaqtini pasaytiradi hisoblash bilan bog'langan dasturlar.^[10] Biroq, quvvat sarfi P chip tomonidan tenglama bilan berilgan P = C × V ² × F, qayerda C bo'ladi sig'im soat tsikliga o'tish (kirishlari o'zgaradigan tranzistorlar soniga mutanosib), V bu Kuchlanishva F protsessor chastotasi (sekundiga tsikllar).^[11] Chastotaning ko'payishi protsessorda ishlatiladigan quvvat hajmini oshiradi. Protsessorning quvvat sarfini oshirish oxir-oqibat bunga olib keldi Intel2004 yil 8 mayda uning bekor qilinishi Tejas va Jayxavk protsessorlar, bu odatda dominant kompyuter arxitekturasi paradigmasi sifatida chastota masshtabining oxiri sifatida keltirilgan.^[12]

Elektr energiyasini iste'mol qilish va katta qizib ketish muammosini hal qilish markaziy protsessor (CPU yoki protsessor) ishlab chiqaruvchilar bir nechta yadroli energiya tejaydigan protsessorlarni ishlab chiqarishni boshladilar. Yadro protsessorning hisoblash birligidir va ko'p yadroli protsessorlarda har bir yadro mustaqil bo'lib, bir vaqtning o'zida bir xil xotiraga kira oladi. Ko'p yadroli protsessorlar ga parallel hisoblash olib keldi ish stoli kompyuterlar. Shunday qilib, ketma-ket dasturlarni parallellashtirish asosiy dasturlash vazifasiga aylandi. 2012 yilda to'rt yadroli protsessorlar standart bo'ldi ish stoli kompyuterlar, esa serverlar 10 va 12 yadroli protsessorlarga ega. Kimdan Mur qonuni har 18-24 oyda bir protsessor uchun yadrolar soni ikki baravar ko'payishini taxmin qilish mumkin. Bu 2020 yildan keyin odatdagi protsessor o'nlab yoki yuzlab yadrolarga ega bo'lishini anglatishi mumkin.^[13]

An operatsion tizim mavjud bo'lgan yadrolarda turli xil vazifalar va foydalanuvchi dasturlarining parallel ravishda bajarilishini ta'minlashi mumkin. Biroq, ketma-ket dasturiy ta'minot dasturi ko'p yadroli arxitekturadan to'liq foydalanishi uchun dasturchi kodni qayta tuzishi va parallel qilishi kerak. Ilova dasturiy ta'minotining ishlash vaqtini tezlashtirish endi chastotalarni kattalashtirish orqali amalga oshirilmaydi, aksincha dasturchilar ko'p yadroli arxitekturalarning hisoblash quvvatining ortib borishi uchun o'zlarining dasturiy ta'minot kodlarini parallellashtirishlari kerak.^[14]

Amdahl qonuni va Gustafson qonuni

Ning grafik tasviri Amdahl qonuni. Parallellashtirishdan dasturning tezlashishi dasturning qanchasini parallel qilish bilan cheklanadi. Masalan, agar dasturning 90 foizini parallellashtirish mumkin bo'lsa, qancha hisoblash protsessoridan qat'i nazar, parallel hisoblash yordamida nazariy maksimal tezlashtirish 10 baravar ko'p bo'ladi.

Vazifaning ikkita mustaqil qismi bor deb taxmin qiling, A va B. Qism B butun hisoblash vaqtining taxminan 25% ni oladi. Juda qattiq ishlash orqali, kimdir ushbu qismni 5 barobar tezroq bajarishi mumkin, ammo bu butun hisoblash uchun vaqtni biroz qisqartiradi. Aksincha, qismni bajarish uchun kamroq ish qilish kerak bo'lishi mumkin A ikki baravar tezroq bo'ling. Bu qismni optimallashtirishga qaraganda hisoblashni ancha tezlashtiradi Bqisman bo'lsa ham B 's tezligi nisbati bo'yicha kattaroq (5 marta 2 marta).

Optimal ravishda tezlikni oshirmoq parallellashtirishdan chiziqli bo'ladi - ishlov berish elementlari sonini ikki baravar ko'paytirish ish vaqtini, ikkinchi marta ikki baravar oshirish ish vaqtini yana qisqartirishi kerak. Biroq, juda kam parallel algoritmlar optimal tezlikni ta'minlaydi. Ularning ko'pchiligida oz sonli ishlov berish elementlari uchun chiziqli tezlashuv mavjud bo'lib, ular ko'p sonli ishlov berish elementlari uchun doimiy qiymatga tenglashadi.

Parallel hisoblash platformasida algoritmning potentsial tezlashishi quyidagicha berilgan Amdahl qonuni^[15]

qayerda

•