Big Data nima? Katta ma'lumotlar (inglizcha big data, [ˈbɪɡ ˈdeɪtə])

Rad etishga mustaxkamlik - uzilish, buzulish (сбой) holatlari avtomatik tiklasjni ta`minlash

Masshtablilik – ma`lumotlarni qayta ishlash taqsimoti kompyuterlarda klasterlanadi (bu gorizantal masshtablashtirish deb ataladi)

Universal port (Портируемость) – barcha turdagi qurilma va OT larga o`rnatish imkonini mavjudligi.

Hadoop ning asosiy komponentlari

• 
  HDFS – fayl tizimini taqsimoti
  
• 
  MapReduce – dastur bajarilishini katta masshtabli uslubi
  
• 
  YARN – klaster resurslarni boshqarish tizimi
  

MapReduce ning ishini kichik bir xayoliy misol bilan ko'rib chiqish mumkin. Siz o'yinchoqlar ishlab chiqaruvchi kompaniya direktorisiz. Har bir o'yinchoq ikkita rangga bo'yalgan; mijoz veb-sahifadan o'yinchoq buyurtma qilganda, buyurtma fayli ko'rsatilgan ranglar bilan Hadoop-ga joylashtiriladi. Sizning vazifangiz bo'yoq uchun qancha idish tayyorlash kerakligini aniqlashdir. Ranglarni hisoblash uchun MapReduce uslubidagi algoritm qo'llaniladi. Keling, keyngi slaydagi rasmning soddalashtirilgan versiyasidan boshlaylik.
MapReduce - bosqichlari

• 
  Ko`rsatish bosqichi (Map)- hujjatlar kalit-qiymat juftliklariga bo'lingan. Yig'ish amalga oshirilishidan oldin ma'lumotlarda ko'plab dublikatlar bo'ladi.
  
• 
  Aniqlash bosqichi (Reduce) - umuman olganda SQl ni Group By konstruktsiyasiga o'xshaydi. Turli xil noyob misollar birlashtiriladi va yig'ish funktsiyasiga qarab, turli natijalarga erishish mumkin. Bunday holda, siz har bir rangning takrorlanish sonini olishingiz kerak, shuning uchun aniqlash funktsiyasi qaytariladi. Masalan keying slayddagi rasmni korish mumkin.
  

Mashinali o`qitish - bu kompyuter tomonidan harakatlarni yartuvchi, unga oldindan joylashtirilmagan bilim va ma`lumotlarni avtomat hosil qilishni tashkil etuvchi tadqiaot muhiti hisoblanadi.

• 
  Mashinali o`itish tushunchasi Artur Semyuel tomonidan kiritilgan va u unga yuqiridagi kabi ta`rif bergan.
  
• 
  Mashinali o`qitish - bu ma'lumot olish va ulardan axborotlarni chiqrib olish jarayonida kompyuterning aniqligi yaxshilanadigan jarayondir – deb Mayk Robert ta`rif bergan.
  
• 
  Masalan, foydalanuvchilar o`zlarini telefonlarida qancha ko`p matnli xabarlarni yozsa, telefon shuncha ko`p so`zlarni lug`atga kiritadi va kiritilayotgan tezda aniqlab avtomat tarzda yakunlash imkonini beradi.