Rivojlantirish vazirligi muhammad al xorazmiy nomidagi toshkent axborot texnologiyalari universiteti

TARMOQ TOPOLOGIYASI VA HADOOP
Mahalliy tarmoqning ikkita tugunining "yaqinligi" deganda nimani tushunish kerak? Katta hajmdagi ma'lumotlarni qayta ishlash sharoitida -cheklovchi omil tugunlar o'rtasida ma'lumotlarni uzatish tezligi hisoblanadi. Bog'lanishning tarmoqli kengligi ikki tugun orasidagi masofa ko'rsatkichi sifatida ishlatilishi mumkin. Ammo amalda oson bo'lmagan o'tkazuvchanlikni o'lchash o'rniga (buning uchun bepul klaster kerak va klasterdagi tugunlar juftlari soni tugunlar soniga kvadratik bog'liqlikda o'sadi), Hadoop oddiyroq yechimdan foydalanadi: tarmoq daraxt sifatida ifodalanadi va ikkita tugun orasidagi masofa ularning eng yaqin umumiy ajdodgacha bo'lgan masofalarining yig'indisi sifatida baholanadi. Darajalar oldindan belgilanmagan, lekin daraxt odatda jarayon ishlayotgan ma'lumotlar markazi, parcha va tugunga mos keladigan darajalarni o'z ichiga oladi. Tanlov quyidagi stsenariylarda mavjud tarmoqli kengligining asta-sekin kamayishi bilan bog'liq:
• Xuddi shu tugundagi jarayonlar.
• Xuddi shu segmentning turli tugunlari.
• Xuddi shu ma'lumotlar markazining turli segmentlari tugunlari.
• Turli ma'lumotlar markazlarining tugunlari.
Masalan, / d 1/ r 1/ n 1 yozuvi bilan ko'rsatilgan d 1 ma'lumotlar markazining r 1 segmentidagi n 1 tugunini oling . To'rtta stsenariy uchun masofalarga misollar :
• masofa (/ d 1/ r 1/ n 1, / d 1/ r 1/ n 1) = 0 (bir xil tugundagi jarayonlar);
• masofa (/ d 1/ r 1/ n 1, / d 1/ r 1/ n 2) = 2 (bir xil segmentning turli tugunlari);
• masofa (/ d 1/ r 1/ n 1, / d 1/ r 2/ n 3) = 4 (bir xil ma'lumotlar markazining turli segmentlarining tugunlari);
• masofa (/ d 1/ r 1/ n 1, / d 2/ r 3/ n 4) = 6 (turli ma'lumotlar markazlaridan tugunlar).
Stsenariylar sxematik tarzda rasmda keltirilgan. 3.3.
Hadoop ekanligini tushunish muhimdir sizning yordamingizsiz tarmoq topologiyasini aniqlay olmaydi . ¬Topologiya qanday konfiguratsiya qilinganligi betdagi "Tarmoq topologiyasi" bo'limida tasvirlangan . 387 . Odatiy bo'lib, tarmoq tekis deb hisoblanadi (bir darajali ierarxiyaga ega), ya'ni barcha tugunlar ¬bir xil ma'lumotlar markazining bir segmentida joylashgan. Kichik klasterlarda bu haqiqatan ham shunday bo'lishi mumkin, bu holda qo'shimcha konfiguratsiya talab qilinmaydi.