Big Data nima? Katta ma'lumotlar (inglizcha big data, [ˈbɪɡ ˈdeɪtə])

Bir kompyuterda katta ma`lumotlar bilan ishlash

• 
  Katta hajimli ma`lumotlar quyidagi muammolarni keltirib chiqaradi:
  

1. 
   Xotirani yetishmasligi
   
2. 
   Tugallanmayd bigan jarayonlar
   
3. 
   Bir komponentning “tor joyda” joylashuvi boshqa komponentning ishlamasligiga olib keladi
   
4. 
   Yetarli bo`lmagan tezlik.
   

Cheksiz hisob-kitoblar, xotiradan tashqari xatolar va tezlik bilan bog'liq muammolar katta ma'lumotlar bilan ishlashda yuzaga keladigan eng keng tarqalgan muammolardir. Ushbu bo'limda biz ushbu muammolarni bartaraf etish yoki yumshatish uchun echimlarni o'rganamiz.
Qarorlarni uchta toifaga bo'lish mumkin: to'g'ri algoritmlarni tanlash, to'g'ri ma'lumotlar tuzilmalarini tanlash va to'g'ri vositalardan foydalanish.



Algoritmni to'g'ri tanlash
-To'g'ri algoritmni tanlash apparatni qo'shish yoki yangilashdan ko'ra ko'proq muammolarni hal qiladi. Katta ma'lumotlar bilan ishlash uchun mos bo'lgan algoritm bashorat qilish uchun butun ma'lumotlar to'plamini xotiraga yuklashi shart emas. Ideal holda, algoritm parallel hisoblashni ham qo'llab-quvvatlashi kerak. Ushbu bo'limda biz ushbu xususiyatga ega bo'lgan uchta turdagi algoritmlarni ko'rib chiqamiz: onlayn algoritmlar, blok algoritmlari va MapRaduce algoritmlari.
Ma`lumotlat tarkibini to`gri tanlash
-Algoritmlar sizning dasturlaringizning muvaffaqiyati yoki muvaffaqiyatsizligida hal qiluvchi omil bo'lishi mumkin, ammo ma'lumotlarning qanday saqlanishi ham muhimdir. Ma'lumotlar tuzilmalari turli xil saqlash talablariga ega, ammo ular yaratish/o'qish/yangilash/o'chirish(Crud/create/read/update/delete) va boshqa ma'lumotlar to'plami operatsiyalarining ishlashiga ham ta'sir qiladi.
Instrumentlarni to`g`ri tanlash
-Algoritmlar va ma'lumotlar tuzilmalarining to'g'ri sinfini tanlaganingizdan so'ng, to'g'ri vositani tanlashingiz kerak.
-Bunday vosita Python kutubxonasi yoki hech bo'lmaganda Python-dan boshqarilishi mumkin bo'lgan vosita bo'lishi mumkin. Ko'p foydali vositalar mavjud, shuning uchun biz faqat kichik bir to'plamni ko'rib chiqamiz

Katta xajimli ma`lumotlarni qayta ishlashda qo`llanlayotgan texnologiyalar

• 
  Biz avvalgi boblarda qo'llanilgan yondashuvga amal qilishga harakat qilamiz: o'quvchi katta ma'lumotlar platformasida ishlash uchun o'zini ishonchli his qilishi kerak. Shu sababli, ushbu bobning asosiy qismi amaliy tadqiqotlarga bag'ishlangan. Biz ma'lumotlarni o'rganish uchun asboblar panelini yaratamiz. Bob oxirida biz quyidagi operatsiyalarni ishlab chiqdik: