Fan: Taqsimlangan algoritmlar va tizimlar

Klaster tizimlarini yaratish maqsadlari.

Klaster tizimi me'morlari ularni yaratishda turli xil maqsadlarni ko'zladilar. Birinchisi, VAX / VMS klasterli raqamli uskunalar. Ushbu mashinaning maqsadi tizimning ishonchliligini oshirish, tizimning yuqori darajada mavjudligini va xatolarga chidamliligini ta'minlash edi. Hozirgi vaqtda boshqa ishlab chiqaruvchilarning o'xshash arxitekturasiga ega tizimlar mavjud.Klaster tizimlarini yaratishning yana bir maqsadi - arzon narxlardagi, yuqori samarali parallel hisoblash tizimlarini yaratish. Parallel tizimlarning butun sinfiga nom bergan birinchi loyihalardan biri - Beowulf klasteri - Yer va kosmik fanlari loyihasini zarur hisoblash manbalari bilan qo'llab-quvvatlash uchun NASA ning Goddard kosmik parvoz markazida paydo bo'ldi. Beowulf loyihasi 1994 yil yozida boshlandi va tez orada Intel 486DX4 / 100 MGts protsessorlarida 16 protsessorli klaster yig'ildi. Har bir tugunda 16 MB o'rnatilgan tasodifiy kirish xotirasi va 3 ta tarmoq chekilgan adapteri. Ushbu tizim narxlar / ishlash nisbati jihatidan juda muvaffaqiyatli bo'lib chiqdi, shuning uchun ushbu arxitektura rivojlanib, boshqa ilmiy tashkilotlar va institutlarda keng qo'llanila boshlandi.Klasterlarning har bir klassi o'ziga xos arxitektura xususiyatlariga va ishlatilgan texnik vositalarga ega. Keling, ularni batafsil ko'rib chiqaylik.Failover klasterlari . Qurilish tamoyillari.

Hisoblash tizimlarining ishonchliligi va nosozliklarga chidamliligini ta'minlash uchun turli xil apparat va dasturiy echimlardan foydalaniladi. Masalan, tizim barcha nosoz elementlarni - quvvat manbalarini, protsessorlarni, RAMni va tashqi xotirani nusxalashi mumkin. Keraksiz tarkibiy qismlarga ega bo'lgan bunday nosozliklarga chidamli tizimlar odatdagi hisoblash tizimlarining ishonchliligi muammolarini hal qilish uchun ishlatiladi, bu hozirgi vaqtda ehtimollik bilan baholanmoqda ish vaqti 99%. Bunday muammolarda 99,999% yoki undan yuqori ehtimollik talab qilinadi. Yuqoridagi holatlardan kelib chiqadigan xatolarga chidamliligini oshirishning turli usullarini qo'llash orqali ushbu ishonchga erishish mumkin. Hisoblash tizimidan foydalanish uchun foydalanish darajasiga qarab ishonchlilikning to'rt turi mavjud:

Tayyorlik darajasi,%

Maks. ishlamay qolishi

Tizim turi

Yiliga 3,5 kun

An'anaviy

Yiliga 8,5 soat

Mavjudligi yuqori

Yiliga 1 soat

Xatoga chidamli

Yiliga 5 daqiqa

Xatolarga bardoshli

Haddan tashqari tarkibiy qismlarga ega bo'lgan nosozliklarga chidamli tizimlardan, shuningdek, turli xil ko'p ishlov berish variantlaridan farqli o'laroq, klasterlar bir-biridan nisbatan mustaqil bo'lgan mashinalarni birlashtiradi, ularning har biri profilaktika yoki qayta konfiguratsiya qilish uchun to'xtatilishi mumkin, umuman klasterning sog'lig'ini buzmaydi. Klasterning yuqori ishlashi va dasturning minimallashtirilgan ishlamay qolishi quyidagilarga erishiladi:tugunlardan birida dasturiy ta'minot ishlamay qolsa, dastur o'z ishini davom ettiradi yoki klasterning boshqa tugunlarida avtomatik ravishda qayta boshlanadi;tugunlardan birining (yoki bir nechtasining) ishlamay qolishi butun klaster tizimining qulashiga olib kelmaydi;ta'mirlash va ta'mirlash ishlari, qayta konfiguratsiya yoki dasturiy ta'minot versiyasini o'zgartirish, odatda, boshqa gunlarning ishini to'xtatmasdan, klaster tugunlarida birma-bir amalga oshirilishi mumkin.

Klasterning ajralmas qismi bu maxsus dasturiy ta'minot bo'lib, u aslida ishlamay qolganda tugunni tiklash muammosini hal qiladi va boshqa muammolarni ham hal qiladi. Klaster dasturi odatda tizim uchun oldindan belgilangan bir nechta tiklash stsenariylariga ega va shuningdek, ma'murga bunday stsenariylarni sozlash imkoniyatini berishi mumkin. Tabiiy ofatlarni tiklash butun tugun uchun ham, uning alohida komponentlari uchun ham qo'llanilishi mumkin - ilovalar, disk hajmi va boshqalar. Ushbu funktsiya tizim ishlamay qolganda avtomatik ravishda ishga tushiriladi va administrator tomonidan, masalan, qayta sozlash uchun tugunlardan birini o'chirib qo'yishi kerak bo'lsa, ishga tushirilishi mumkin.Klasterlar tashqi disklarda, odatda RAID disklar qatorida umumiy xotiraga ega bo'lishi mumkin. RAID disk massivi - bu katta hajmdagi ma'lumotlarni saqlash uchun serverni kiritish-chiqarish quyi tizimi. RAID massivlarida katta miqdordagi ma'lumotlarni saqlash va yuqori ishonchlilik va ortiqcha bilan ta'minlash uchun nisbatan kichik disklarning katta qismi ishlatiladi. Bunday massiv kompyuter tomonidan bitta mantiqiy qurilma sifatida qabul qilinadi.Tabiiy ofatlarni tiklash butun tugun uchun ham, uning alohida komponentlari uchun ham qo'llanilishi mumkin - ilovalar, disk hajmi va boshqalar. Ushbu funktsiya tizim ishlamay qolganda avtomatik ravishda ishga tushiriladi va administrator tomonidan, masalan, qayta sozlash uchun tugunlardan birini o'chirib qo'yishi kerak bo'lsa, ishga tushirilishi mumkin.Klaster tugunlari bir-birining sog'lig'ini kuzatib boradi va klaster konfiguratsiyasi kabi o'ziga xos "klaster" ma'lumotlarini almashadi, shuningdek umumiy disklar o'rtasida ma'lumotlarni uzatadi va ulardan foydalanishni muvofiqlashtiradi. Sog'liqni saqlash monitoringi ularning normal ishlashini tasdiqlash uchun klaster tugunlari bir-biriga uzatadigan maxsus signal yordamida amalga oshiriladi. Tugunlardan biri signal berishni to'xtatganda, u klaster dasturiy ta'minotida nosozlik yuz berganligi va qolgan tugunlarga yukni qayta taqsimlash zarurligi to'g'risida signal beradi. Masalan, VAX / VMS ishlamay qolgan klasterini ko'rib chiqing.

VAX / VMS klasteri

DEC birinchi bo'lib 1983 yilda klaster tizimining kontseptsiyasini e'lon qildi va uni yagona axborotni qayta ishlash birligini ifodalovchi o'zaro bog'liq kompyuterlar guruhi sifatida aniqladi. Aslida, VAX klasteri - bu birlashtirilgan boshqaruv va boshqarish mexanizmini ta'minlaydigan, tashqi xotira bilan umumiy bog'langan, ko'p mashinali tizim.

VAX klasteri quyidagi xususiyatlarga ega:

Resurslarni baham ko'rish. Klasterdagi VAX kompyuterlari umumiy lenta va disk drayvlariga kirish huquqini bo'lishishi mumkin. Klasterdagi barcha VAX kompyuterlari alohida ma'lumotlar fayllariga lokal sifatida kirishlari mumkin.Mavjudligi yuqori. Agar VAX kompyuterlaridan biri ishlamay qolsa, uning foydalanuvchilarining vazifalari avtomatik ravishda klasterdagi boshqa kompyuterga o'tkazilishi mumkin. Agar tizimda bir nechta HSC mavjud bo'lsa va ulardan biri ishlamay qolsa, boshqa HSClar uni avtomatik ravishda olishadi.

Yuqori mahsuldorlik ... Bir qator amaliy tizimlar klasterdagi bir nechta kompyuterlarda vazifalarni parallel bajarish imkoniyatidan foydalanishlari mumkin.Tizimning xizmat ko'rsatishi ... Birgalikda ma'lumotlar bazalarini bitta joydan saqlash mumkin. Ilova dasturlari faqat bir marta o'rnatilishi mumkin umumiy disklar klaster va klasterdagi barcha kompyuterlar o'rtasida birgalikda foydalanish.

Kengayish ... Klasterning hisoblash quvvatining oshishiga unga qo'shimcha VAX kompyuterlarini ulash orqali erishiladi. Qo'shimcha magnit disklar va lenta disklari klasterdagi barcha kompyuterlar uchun mavjud.

VAX klasterining ishlashi ikkita asosiy komponent bilan belgilanadi. Birinchi komponent - bu yuqori tezlikda ishlaydigan aloqa mexanizmi, ikkinchisi - mijozlarga tizim xizmatiga shaffof kirishni ta'minlaydigan tizim dasturiy ta'minoti. Jismoniy jihatdan, klaster ichidagi ulanishlar har xil ishlash xususiyatlariga ega bo'lgan uch xil avtobus texnologiyalari yordamida amalga oshiriladi.

VAX klasteridagi asosiy aloqa usullari shakl. to'rt.

Shakl: 4 VAX / VMS klasteri

Computer Interconnect (CI) avtobusi 70 Mbit / s tezlikda ishlaydi va VAX kompyuterlari va HSC-larni Star Coupler yordamida ulash uchun ishlatiladi. Har bir CI havolasida to'qnashuvlarni bartaraf etish uchun tugunlarga xos kechikishlardan foydalanadigan asosiy CSMA texnologiyasidan foydalangan holda ikkitasi uzatish uchun va ikkitasi qabul qilish uchun ikkita ortiqcha havolalar mavjud. CI ulanishining maksimal uzunligi 45 metrni tashkil qiladi. Star Coupler har biri VAX yoki HSC ulanishiga bag'ishlangan 32 tagacha CI avtobuslarini qo'llab-quvvatlaydi. HSC disk va lenta drayverlarning ishlashini boshqaradigan aqlli qurilma.

VAX kompyuterlarini mahalliy tarmoq orqali ham klasterlash mumkin

Ethernet NI - Network Interconnect (mahalliy VAX klasterlari deb ataladi) dan foydalangan holda, shu bilan birga, tarmoq tizimining tarmoq o'tkazuvchanligini klasterli kompyuterlar va boshqa tarmoq mijozlari o'rtasida bo'lishish zarurati tufayli bunday tizimlarning ishlashi nisbatan past.Klasterlar DSSI (Digital Storage System Interconnect) avtobusiga ham asoslangan bo'lishi mumkin. DSSI avtobusi to'rttagacha past va o'rta darajadagi VAX kompyuterlarni birlashtirishi mumkin. Har bir kompyuter bir nechta DSSI adapterlarini qo'llab-quvvatlashi mumkin. Alohida DSSI avtobusi 4 MB / s (32 Mbit / s) da ishlaydi va 8 tagacha qurilmani ulashga imkon beradi. Qurilmaning quyidagi turlari qo'llab-quvvatlanadi: DSSI tizim adapteri, RF seriyali disk boshqaruvchisi va TF seriyali lenta boshqaruvchisi. DSSI klasterdagi tugunlar orasidagi masofani 25 metrgacha cheklaydi.VAX klaster tizimining dasturi Disk kabi umumiy manbalarga kirishda protsessorlar bir-biri bilan to'g'ri aloqa qilishlarini ta'minlash uchun DEC Distributed Lock Manager (DLM) dan foydalanadi. DLM-ning juda muhim vazifasi operatsion tizim va I / U operatsiyalari uchun disk keshlarining izchil holatini saqlashdir. Masalan, ma'lumotlar bazasining relyatsion dasturlarida DLM klasterdagi turli xil kompyuterlardagi ma'lumotlar bazasi buferlari o'rtasida izchil holatni saqlash uchun javobgardir.Klasterdagi protsessorlar o'rtasida Kiritish-chiqarish keshining izchilligini saqlash vazifasi ma'lum avtobusga asoslangan zich bog'langan ko'p protsessorli tizimdagi keshning izchilligini saqlash vazifasiga o'xshaydi. Ma'lumot bloklari bir vaqtning o'zida bir nechta keshlarda paydo bo'lishi mumkin va agar bitta protsessor ushbu nusxalardan birini o'zgartirsa, boshqa mavjud nusxalar ma'lumotlar blokining hozirgi holatini aks ettirmaydi. Blokni ta'qib qilish tushunchasi (blokga egalik) bu vaziyatlarni boshqarish usullaridan biridir. Blokni o'zgartirishdan oldin blokka egalik huquqi ta'minlanishi kerak.DLM bilan ishlash sezilarli qo'shimcha xarajatlar bilan ta'minlanadi. VAX / VMS muhitida qo'shimcha xarajatlar katta bo'lishi mumkin, chunki bitta I / U ishlashi uchun CI avtobusida oltita xabar kerak. Qo'shimcha xarajatlar klasterdagi har bir protsessor uchun 20% gacha bo'lishi mumkin.

Yuqori samarali klasterlar

Qurilish tamoyillari

Yuqori samarali klasterlarning arxitekturasi MPP tizimlarini umumiy maqsadli operatsion tizim tomonidan boshqariladigan unchalik samarasiz va ommaviy ishlab chiqariladigan qismlarga qurish printsiplarini ishlab chiqish sifatida paydo bo'ldi. Klasterlar, xuddi MPP tizimlari singari, bir-biriga bog'langan tugunlardan iborat bo'lib, ular bir hil bo'lishi mumkin yoki mPPdan farqli o'laroq, har xil yoki heterojen bo'lishi mumkin. Yuqori samarali klaster arxitekturasini loyihalashda klaster tugunlarini birlashtiruvchi aloqa avtobusining yuqori samaradorligini ta'minlashga alohida e'tibor beriladi. Klasterlarda massiv, nisbatan kam unumli avtobuslar tez-tez ishlatib turilganligi sababli, ularning klaster ko'rsatkichlari bo'yicha past o'tkazuvchanligini istisno qilish va klasterda samarali parallellashtirishni tashkil qilish uchun bir qator choralar ko'rish zarur. Masalan, eng yuqori tezlikda ishlaydigan Fast Ethernet texnologiyalaridan birining o'tkazuvchanlik qobiliyati - bu zamonaviy zamonaviy супер-kompyuterlar MPP arxitekturasidagi o'zaro bog'liqlik darajasidan pastroq buyurtmalar.Klaster bir nechta segmentlarga bo'linadi, ularning ichida tugunlar Mirinet kabi yuqori mahsuldor shinalar bilan bog'lanadi va turli segmentlar tugunlari orasidagi aloqa Ethernet / Fast Ethernet kabi past samarali tarmoqlar orqali amalga oshiriladi. Bu aloqa muhiti narxini pasaytirish bilan birga, jarayonlar o'rtasida intensiv ma'lumotlar almashinuvi bilan bog'liq muammolarni hal qilishda bunday klasterlarning ish faoliyatini sezilarli darajada oshirishga imkon beradi.

"Trunking" deb nomlangan foydalanish, ya'ni E. bir nechta tezkor chekilgan kanallarni bir nechta kalitlarni ulaydigan bitta tezkor kanalga birlashtirish. Ushbu yondashuvning aniq kamchiliklari - bu kalitlarning o'zaro bog'liqligi bilan bog'liq ba'zi portlarning "yo'qolishi".Ishlashni yaxshilash uchun bunday tarmoqlar orqali ma'lumot almashish uchun maxsus protokollar yaratiladi, ular kanallarning o'tkazuvchanlik kengligidan yanada samarali foydalanishga imkon beradi va standart protokollar (TCP / IP, IPX) tomonidan o'rnatilgan ba'zi cheklovlarni olib tashlaydi. Ushbu usul ko'pincha Beowulf tizimlarida qo'llaniladi.

Yuqori sifatli klasterga ega bo'lishi kerak bo'lgan asosiy sifat - bu gorizontal miqyosi, chunki klaster me'morchiligining asosiy afzalliklaridan biri bu quvvatni oshirish qobiliyatidir. mavjud tizim oddiygina tizimga yangi tugunlarni qo'shish orqali. Bundan tashqari, quvvatning oshishi deyarli qo'shilgan resurslarning quvvatiga mutanosib ravishda sodir bo'ladi va tizim uning ishlashi davomida to'xtatilmasdan amalga oshirilishi mumkin. Turli xil arxitekturaga ega bo'lgan tizimlarda (xususan, MPP) odatda faqat vertikal miqyoslash mumkin: xotirani qo'shish, ko'p protsessorli tizimlarda protsessorlar sonini ko'paytirish yoki yangi adapterlar yoki disklarni qo'shish. Bu tizim ish faoliyatini vaqtincha yaxshilashga imkon beradi. Shu bilan birga, tizim maksimal darajada qo'llab-quvvatlanadigan xotira, protsessor yoki diskka ega bo'ladi, tizim resurslari tugaydi va ishlashni oshirish uchun siz yangi tizim yaratishingiz yoki eskisini sezilarli darajada qayta ishlashingiz kerak bo'ladi. Klaster tizimi vertikal miqyoslash imkoniyatini ham beradi. Shunday qilib, vertikal va gorizontal masshtablash orqali klaster modeli ko'proq moslashuvchanlikni va tizim ish faoliyatini oshirish.

Beowulf - bu o'zini janglarda ulug'lagan shu nomli qahramon ishtirokchisi bo'lgan VII - VIII asrning birinchi uchdan bir qismigacha bo'lgan voqealar haqida hikoya qiluvchi skandinaviya eposi.Bunday tuzilmaning klaster tizimini amalga oshirish misollaridan biri bu Beowulf klasterlari. Beowulf loyihasi AQShdagi o'nga yaqin tashkilotni (asosan universitetlarni) birlashtirdi. Loyihaning etakchi ishlab chiquvchilari NASA mutaxassislari. Ushbu turdagi klasterlarda quyidagi asosiy xususiyatlarni ajratish mumkin:Beowulf klasteri umumiy tarmoqqa ulangan bir nechta alohida tugunlardan iborat; birgalikda resurslardan klaster tugunlari foydalanmaydi;Ikki protsessorli SMP tizimlari asosida klasterlar qurish maqbul hisoblanadi;Tugunlarning o'zaro ta'sirini kamaytirish uchun to'liq dupleksli 100 MB tezkor Ethernet ishlatiladi (kamroq SCI ishlatiladi), bir nechta tarmoq segmentlari yaratiladi yoki kalit orqali klaster tugunlari ulanadi;

Dastur sifatida Linux OS va bepul aloqa kutubxonalari (PVM va MPI) ishlatiladi;

Beowulf loyihasining tarixi Loyiha 1994 yil yozida NASA ning Goddard kosmik parvoz markazida (GSFC), aniqrog'i uning asosida yaratilgan CESDIS (kosmik ma'lumotlar va axborot fanlari mukammalligi markazi) da boshlangan.Birinchi Beowulf klasteri asosida yaratilgan intel kompyuterlari Linux OS uchun arxitekturalar. Bu 16 tugundan iborat tizim edi (486DX4 / 100MHz protsessorlarda, 16 MB xotira va har bir tugunda 3 ta tarmoq adapteri, 3 ta "parallel" 10Mbit chekilgan kabellar). U Yer va kosmik fanlari loyihasi (ESS) uchun hisoblash manbai sifatida yaratilgan.Bundan tashqari, GSFC va NASAning boshqa bo'limlarida boshqa kuchli guruhlar to'plandi. Masalan, theHIVE (Yuqori parallel Integrated Virtual Environment) klasterida ikkita Pentium Pro / 200MHz protsessorlari va har biri 4 Gb xotirali 64 ta tugun, 5 ta tezkor chekilgan kalitlari mavjud. Ushbu klasterning umumiy qiymati taxminan $ 210,000. Beowulf loyihasi doirasida bir qator yuqori samarali va ixtisoslashgan tarmoq drayverlari ishlab chiqilgan (xususan, bir vaqtning o'zida bir nechta Ethernet kanallarini ishlatish uchun haydovchi).

Beowulf arxitekturasi