Big Data qay darajada katta?

Katta ma'lumot vazifalari

Big Data bilan bog'liq uchta vazifa mavjud:
1. Saqlash va boshqarish
Yuzlab terabaytlar yoki petabaytlar ma'lumotlari an'anaviy relatsion ma'lumotlar bazalarini saqlash va boshqarishni qiyinlashtiradi.
2. Tuzilmaydigan ma'lumotlar
Katta ma'lumotlarning aksariyati strukturasiz. Bular qanday qilib matn, video, rasm va boshqalarni tashkil qilishingiz mumkin?
3. Katta ma'lumotlarni tahlil qilish
Strukturalanmagan ma'lumotni qanday tahlil qilish kerak? Big Data asosida oddiy hisobotlarni qanday yaratish, chuqur bashoratli modellarni yaratish va amalga oshirish kerak?

Katta ma'lumotlarni saqlash va boshqarish

Katta ma'lumotlar odatda tarqatilgan fayl tizimlarida saqlanadi va tartibga solinadi.
Umuman olganda, ma'lumot standart kompyuterlarda bir necha (ba'zan minglab) qattiq disklarda saqlanadi.
"Xarita" deb nomlangan ma'lumotlar ma'lum bir joyda qayerda (qaysi kompyuterda va / yoki diskda) saqlanishini kuzatib boradi.
Xatolarga chidamlilik va ishonchlilikni ta'minlash uchun har bir ma'lumot odatda bir necha marta, masalan, uch marta saqlanadi.
Shunday qilib, masalan, siz yirik do'konlar tarmog'idan individual operatsiyalarni to'pladingiz, deylik. Har bir tranzaksiyaning tafsilotlari turli xil serverlarda va qattiq disklarda saqlanadi va bitim aniq saqlanadigan xarita indekslari.
Ushbu tarqatilgan fayl tizimini boshqarish uchun standart apparat va ochiq kodli dasturiy ta'minot vositalari bilan (masalan. Hadoop), kuchli petabayt hajmli ma'lumotlar do'konlarini amalga oshirish nisbatan oson.

Tuzilmaydigan ma'lumotlar

Taqsimlangan fayl tizimida to'plangan ma'lumotlarning aksariyati matn, rasmlar, fotosuratlar yoki videolar kabi tuzilmagan ma'lumotlardan iborat.
Buning afzalliklari va kamchiliklari bor.
Afzalligi shundaki, katta ma'lumotlarni saqlash qobiliyati keyinchalik barcha tahlil qilish va qaror qabul qilish uchun qanchalik muhimligi haqida qayg'urmasdan "barcha ma'lumotlarni" saqlashga imkon beradi.
Kamchilik shundaki, bunday hollarda foydali ma'lumotlarni olish uchun ushbu katta hajmdagi ma'lumotlarni qayta ishlashdan keyin talab qilinadi.
Ushbu operatsiyalarning ba'zilari sodda bo'lishi mumkin (masalan, oddiy hisoblar va boshqalar), boshqalari taqsimlangan fayl tizimida samarali ishlash uchun maxsus ishlab chiqilishi kerak bo'lgan murakkab algoritmlarni talab qiladi.
Bir marta yuqori darajadagi rahbarlardan biri StatSoftga "u IT va ma'lumotlarni saqlash uchun katta mablag 'sarflagan, ammo hali ham pul ishlashni boshlamagan" deb aytdi, chunki u o'zining asosiy biznesini yaxshilash uchun bu ma'lumotlardan qanday foydalanish haqida o'ylamagan.
Shunday qilib, ma'lumotlar miqdori eksponent bo'yicha o'sishi mumkin bo'lsa-da, ma'lumot olish va shu ma'lumot asosida harakat qilish imkoniyati cheklangan va asemptomatik ravishda chegaraga etadi.
Bunday tizimlar korxona uchun foydali va foydali bo'lishini ta'minlash uchun saqlash tizimlari bilan bir qatorda modellarni yaratish, yangilash va qarorlarni avtomatlashtirish usullari va protseduralari ishlab chiqilishi muhimdir.