Big Data nima? Маълумотлар 100 гб дан кўп бўлса

Bir kompyuterda BigData bilan ishlashda duch keladigan qiyinchiliklar. Katta hajmdagi ma'lumotlar xotirani haddan tashqari to`ldirib yuborishi va hech qachon to'xtamaydigan yechimsiz algoritmlar kabi yangi muammolarni keltirib chiqaradi. Bu sizni texnikalar repertuarini moslashtirishga va kengaytirishga majbur qiladi. Ammo siz o`z ma`lumotlaringiz tahlilini qilishingiz mumkin bo'lsa ham, sizda ma`lumotlarni kiritish - chiqarish va CPU (markaziy protsessor) yetishmasligi(quvvati kamligi) kabi muammolarni hal qilishingiz kerak bo`ladi, chunki ular tezlik bilan bog'liq muammolarga olib kelishi mumkin. Quyida rasmda ushbu muammolar diagrammasi keltirilgan:

Xotira yetarli emas


Ba'zi komponentlar to'siq hosil qiladi, boshqalari esa bo'sh qoladi

Hech qachon tugamaydigan jarayon

Muammolar





Tezlik yetarli emas

Yechimlar


Katta hajmdagi ma'lumotlarni qayta ishlash

Umumiy maslahatlar

Kompyuterda faqat cheklangan miqdordagi RAM (tezkor xotira) mavjud. Agar siz ushbu xotiraga to'g'ri keladiganidan ko'ra ko'proq ma'lumot yig'moqchi bo'lsangiz, operatsion tizim qatti disk bloklarini to`ldirishni boshlaydi, bu ularning barchasini RAM da saqlashdan ko'ra samaraliroqdir. Ammo juda xam kam algoritmlar katta ma'lumotlar to'plamini qayta ishlash uchun mo'ljallangan bo`lib; ko`pchilik algoritmlar butun ma'lumotlar to'plamini bir vaqtning o'zida xotiraga yuklaydi, bu esa xotirada ko`plar xatoliklar kelib chiqishiga olib keladi. Bundan tashqari algoritmlar ma'lumotlarning bir nechta nusxalarini xotirada saqlashi yoki oraliq natijalarni saqlashi kerak. Bularning barchasi muammoni yanada kuchaytiradi.

Katta ma'lumotlar to'plamlari bilan ishlaganda, kompyuterning boshqa komponentlari yetarli bo`lmasligi yoki ishdan chiqishi va boshqa tizimlarning ishlamay qolishiga bog'liq bo'lishi mumkin. Ushbu muammolar Cheksiz algoritm yoki xotira bilan bog`liq bo`lgan xatolar kabi jiddiy bo'lmasada, muammoning bu tarafi xam katta xarajat talab qiladi. Agar protsessor tezligi yetarli bo'lmaganda, ish kuni va hisoblash infratuzilmasini tejash haqida o'ylab ko'ring. Ba'zi dasturlar protsessorga ma'lumotlarni yetarlicha tez uzatmaydi, chunki ular qattiq diskdan ma'lumotlarni o'qishlari kerak, bu kompyuterning eng sekin komponentlaridan biridir. Bu muammo qattiq disklar (SSD) paydo bo'lishi bilan hal qilindi, ammo SSD'lar hali ham sekinroq va keng tarqalgan qattiq disk (HDD) texnologiyasidan ancha qimmatroqdir.
Demak cheksiz algoritmlar, xotira yetishmasligi hamda u bilan bog`liq xatolar va tezlik bilan bog'liq muammolar katta ma'lumotlar bilan ishlashda eng ko'p uchraydigan muammolardir. Endilikda biz ushbu muammolarni bartaraf etish yoki yengillashtirish uchun yechimlarni ko'rib chiqamiz. Ushbu muammolarning qisqacha tasnifi quyidagi diagrammada berilgan: