“Bir kompyuterda katta ma`lumotlar bilan ishlash”

“Bir kompyuterda katta ma`lumotlar bilan ishlash”

«Big data va ma’lumotlar tahlili» fanidan

19.06-guruh talabasi
Shokirova Gulshanoy

Reja:

• Bir kompyuterda BigData bilan ishlashda duch keladigan qiyinchiliklar
• Algoritmni va ma`lumotlar tarkibini to`g`ri tanlash.
• Instrumentlarni to`g`ri tanlash.

Katta hajmdagi ma'lumotlar xotirani haddan tashqari to`ldirib yuborishi va hech qachon to'xtamaydigan yechimsiz algoritmlar kabi yangi muammolarni keltirib chiqaradi. Bu sizni texnikalar repertuarini moslashtirishga va kengaytirishga majbur qiladi. Ammo siz o`z ma`lumotlaringiz tahlilini qilishingiz mumkin bo'lsa ham, sizda ma`lumotlarni kiritish - chiqarish va CPU (markaziy protsessor) yetishmasligi(quvvati kamligi) kabi muammolarni hal qilishingiz kerak bo`ladi, chunki ular tezlik bilan bog'liq muammolarga olib kelishi mumkin.

• Katta hajmdagi ma'lumotlar xotirani haddan tashqari to`ldirib yuborishi va hech qachon to'xtamaydigan yechimsiz algoritmlar kabi yangi muammolarni keltirib chiqaradi. Bu sizni texnikalar repertuarini moslashtirishga va kengaytirishga majbur qiladi. Ammo siz o`z ma`lumotlaringiz tahlilini qilishingiz mumkin bo'lsa ham, sizda ma`lumotlarni kiritish - chiqarish va CPU (markaziy protsessor) yetishmasligi(quvvati kamligi) kabi muammolarni hal qilishingiz kerak bo`ladi, chunki ular tezlik bilan bog'liq muammolarga olib kelishi mumkin.

Quyida ushbu muammolar diagrammasi keltirilgan:

• Quyida ushbu muammolar diagrammasi keltirilgan:

Kompyuterda faqat cheklangan miqdordagi RAM (tezkor xotira) mavjud. Agar siz ushbu xotiraga to'g'ri keladiganidan ko'ra ko'proq ma'lumot yig'moqchi bo'lsangiz, operatsion tizim qatti disk bloklarini to`ldirishni boshlaydi, bu ularning barchasini RAM da saqlashdan ko'ra samaraliroqdir. Ammo juda xam kam algoritmlar katta ma'lumotlar to'plamini qayta ishlash uchun mo'ljallangan bo`lib; ko`pchilik algoritmlar butun ma'lumotlar to'plamini bir vaqtning o'zida xotiraga yuklaydi, bu esa xotirada ko`plar xatoliklar kelib chiqishiga olib keladi. Bundan tashqari algoritmlar ma'lumotlarning bir nechta nusxalarini xotirada saqlashi yoki oraliq natijalarni saqlashi kerak. Bularning barchasi muammoni yanada kuchaytiradi.

• Kompyuterda faqat cheklangan miqdordagi RAM (tezkor xotira) mavjud. Agar siz ushbu xotiraga to'g'ri keladiganidan ko'ra ko'proq ma'lumot yig'moqchi bo'lsangiz, operatsion tizim qatti disk bloklarini to`ldirishni boshlaydi, bu ularning barchasini RAM da saqlashdan ko'ra samaraliroqdir. Ammo juda xam kam algoritmlar katta ma'lumotlar to'plamini qayta ishlash uchun mo'ljallangan bo`lib; ko`pchilik algoritmlar butun ma'lumotlar to'plamini bir vaqtning o'zida xotiraga yuklaydi, bu esa xotirada ko`plar xatoliklar kelib chiqishiga olib keladi. Bundan tashqari algoritmlar ma'lumotlarning bir nechta nusxalarini xotirada saqlashi yoki oraliq natijalarni saqlashi kerak. Bularning barchasi muammoni yanada kuchaytiradi.