Rivojlantirish vazirligi muhammad al xorazmiy nomidagi toshkent axborot texnologiyalari universiteti



Download 214,75 Kb.
bet4/15
Sana24.03.2023
Hajmi214,75 Kb.
#921468
1   2   3   4   5   6   7   8   9   ...   15
Bog'liq
3-deadline. 13-18

REPLIKANI JOYLASHTIRISH
Nusxalari saqlanishi kerak bo'lgan ma'lumotlar tugunlarini qanday tanlaydi? Yechim ishonchlilik va o'qish/yozish o'tkazuvchanlik xarajatlari o'rtasidagi muvozanatni talab qiladi. Misol uchun, barcha replikalarni bitta tugunga joylashtirish minimal yozish o'tkazish qobiliyatini anglatadi, chunki replikatsiya havolasi bitta tugunda ishlaydi, ammo bu holda haqiqiy ortiqcha bo'lmaydi (tugun ishlamay qolsa, barcha blok ma'lumotlari yo'qoladi). Bundan tashqari, segmentdan tashqari o'qish aloqa kanalida ortib borayotgan yukni keltirib chiqaradi. Boshqa tomondan, replikalarni turli ma'lumotlar markazlariga joylashtirish eng ko'p ortiqchalikni ta'minlaydi, ammo tarmoqli kengligi hisobiga. Hatto bitta ma'lumot markazida (va barcha Hadoop klasterlarida yozish vaqtida ular ushbu konfiguratsiyada ishlaydi) turli xil joylashtirish strategiyalari mavjud. Hadoop ichida 0.17.0 versiyasida klasterdagi bloklarning nisbatan bir tekis taqsimlanishini ta'minlash uchun yangi taqsimlash strategiyasi tanlandi ( klasterlarda yuklarni muvozanatlash bo'yicha ma'lumot uchun "Balanser" bo'limiga qarang, Bilan. 449 ). Va 1.x dan keyingi versiyalarda bloklarni joylashtirish siyosati almashtirilayotgan modullar bilan belgilanadi.


Nazorat savollari:

1. Tarmoq adapterining maqsadi.


2. Tarmoq adapterida qanday parametrlarni o'rnatish kerak?
3. Tarmoq adapterlarining funksiyalarini sanab bering.
4. Adapterning jismoniy manzili nima?
5. Adapterning jismoniy manzilini qanday aniqlash mumkin?
6. Tarmoq adapterlarining qanday turlari mavjud?
7. OSI tarmoq modelining qaysi darajasida tarmoq adapteri ishlatiladimi?
8. Repetitorning maqsadi nima?


AMALIY MASHG‘ULOT- 14


Mavzu: HDFS da ma'lumotlar yaxlitligi


Ishning maqsadi: HDFSda ma'lumotlarni saqlash usullarini o'rganish.

HDFSda _ barcha qayd etilgan ma'lumotlarning nazorat summalarini shaffof hisoblash tashkil etilgan. Odatiy bo'lib, nazorat summasi ma'lumotlar o'qilganda tekshiriladi. Har bir io uchun alohida nazorat summasi yaratiladi . bayt . boshiga . nazorat summasi ma'lumotlar baytlari - standart 512 bayt. CRC -32 nazorat summasining uzunligi 4 bayt, uni saqlash narxi esa 1% dan kam.


Ma'lumotlar tugunlari ma'lumotlarning o'zi va uning nazorat summalarini saqlashdan oldin olingan ma'lumotlarni tekshirish uchun javobgardir. Bu replikatsiya paytida mijozlar va boshqa ma'lumotlar tugunlaridan olingan ma'lumotlarga taalluqlidir. Ma'lumotni yozuvchi mijoz uni ma'lumotlar tugunining quvur liniyasiga yuboradi (3-bobga qarang); quvur liniyasidagi oxirgi ma'lumotlar tugunlari nazorat summasini tekshiradi. Xatoga duch kelganda, mijoz ChecksumException -ni oladi ( IOException ning pastki klassi), u amalni qayta urinib koʻrish kabi dastur xususiyatlariga koʻra ishlanadi.
Mijozlar ma'lumotlar tugunidan ma'lumotlarni o'qiganda, ular shuningdek, nazorat summalarini ma'lumotlar tugunida saqlangan summalarga nisbatan tekshiradilar. Har bir ma'lumot tugunida nazorat summasini tekshirish jurnali saqlanadi, shuning uchun u har bir blok oxirgi marta qachon tekshirilganligini biladi. Agar mijoz blokni muvaffaqiyatli tekshirsa, mijoz ma'lumotlar tuguniga xabar beradi va ma'lumotlar tugunlari jurnalini yangilaydi. To'plangan statistika diskdagi nosozliklarni aniqlashga yordam beradi.
Saqlangan barcha bloklarni vaqti-vaqti bilan tekshiradigan DataBlockScanner jarayoni fonda ishlaydi . Ushbu chora saqlash vositalarining jismoniy nuqsonlaridan himoya qiladi . Skaner hisobotlariga qanday kirishni o'rganish uchun "Ma'lumotlar tugunlarida bloklarni skanerlash" bet. 447 .
Chunki HDFS bloklarning nusxalarini saqlaydi, shikastlangan bloklarni -buzilmagan replikalardan birini nusxalash orqali "ta'mirlash" mumkin. Agar mijoz blokni o'qish paytida xatolikka duch kelsa, u ChecksumException ni tashlashdan oldin noto'g'ri blok va o'qishga urinayotgan ma'lumotlar tuguniga oid nom tugunini uzatadi .
Tekshirish summasini tekshirish FileSystem sinfining setVerifyCheck - sum () usulini chaqirish orqali o'chirib qo'yilishi mumkin. noto'g'ri parametr bilan faylni o'qish uchun ochiq () usulini chaqirishdan oldin . Boshqaruv qobig'ida bir xil natijaga erishish uchun -ignoreCrc opsiyasidan foydalaning c - olish yoki shunga o'xshash buyruq - copyToLocal . Agar sizda buzilgan fayl bo'lsa va u bilan nima qilishni hal qilish uchun uni ko'rib chiqmoqchi bo'lsangiz, bu xususiyat foydalidir. Masalan, fayldan ma'lumotlarni qayta tiklash mumkinligini tekshirishingiz mumkin.



Download 214,75 Kb.

Do'stlaringiz bilan baham:
1   2   3   4   5   6   7   8   9   ...   15




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish