Rivojlantirish vazirligi muhammad al xorazmiy nomidagi toshkent axborot texnologiyalari universiteti


QAYSI QISQARTIRISH FORMATIDAN FOYDALANISH KERAK?



Download 214,75 Kb.
bet8/15
Sana24.03.2023
Hajmi214,75 Kb.
#921468
1   ...   4   5   6   7   8   9   10   11   ...   15
Bog'liq
3-deadline. 13-18

QAYSI QISQARTIRISH FORMATIDAN FOYDALANISH KERAK?
Hadoop ilovalari katta ma'lumotlar to'plamlarini qayta ishlash, shuning uchun iloji boricha siqishni ishlatishingiz kerak. Formatni tanlash ko'pgina omillarga bog'liq: fayl hajmi, formati va ishlov berish uchun ishlatiladigan dasturiy vositalar. Quyida samaradorlikning kamayish tartibida tartiblangan ayrim yechimlar keltirilgan.
• SequenceFile kabi konteyner formatlaridan foydalaning ( 186-bet ), RCFile (taxminan 553 ) va Avro ( 161-bet ). Ularning barchasi siqishni va bo'linishni qo'llab-quvvatlaydi. Tez siqish formatlari ( LZO , LZ 4, Snappy ) odatda yaxshi nomzodlardir.
• qo'llab-quvvatlaydigan siqish formatidan (masalan, bzip 2, garchi u nisbatan sekin bo'lsa-da) yoki LZO kabi bo'linishni qo'llab-quvvatlash uchun indekslanishi mumkin bo'lgan formatdan foydalaning .
• Ilovada faylni bo'laklarga bo'ling va har qanday qo'llab-quvvatlanadigan siqish formatlaridan foydalangan holda bo'laklarni alohida-alohida siqib chiqing (bu holda ular bo'linishni qo'llab-quvvatlaydimi yoki yo'qmi muhim emas). Bunday holda, parcha o'lchami siqilgan bo'laklarning o'lchami HDFS blokining o'lchamiga taxminan teng bo'lishi uchun tanlanadi .
Agar ketma – ket fayllar chiqishga yuborilsa (sequence files), xaritalangan xususiyatni o'rnatishingiz mapred.output.compression.type siqilish turini nazorat qilish uchun. Standart qiymat RECORD bo'lib , alohida yozuvlarni siqib chiqaradi. Uni yozuvlar guruhlarini siqib chiqaradigan BLOCK bilan almashtirish tavsiya etiladi, chunki u yanada samarali siqishni ta'minlaydi (qarang: " SequenceFile ", 186-bet ).
SequenceFileOutputFormat sinfining setOutputCompressionType () statik yordamchi usulidan ham foydalanishingiz mumkin .
MapReduce ishlarining chiqish ma'lumotlarini siqish formatini belgilaydigan konfiguratsiya xususiyatlari 1- jadvalda tasvirlangan. 4.5. Agar MapReduce demoningiz bo'lsa Tool interfeysidan foydalanadi ( Qarang: GenericOptionsParser , Tool va ToolRun - ner ", Bilan. 211 ), bu xossalardan istalgan birini buyruq satrida dasturga o‘tkazish mumkin. Bu, odatda, siqish xususiyatlarini qattiq kodlashda kodni o'zgartirishdan ko'ra qulayroqdir .

Download 214,75 Kb.

Do'stlaringiz bilan baham:
1   ...   4   5   6   7   8   9   10   11   ...   15




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish