Katta ma’lumotlar bilan ishlash texnologiyalari Big Data qay darajada katta?

Katta ma'lumotlarni tahlil qilish

Bu strukturasiz Katta ma'lumotni tahlil qilishda juda katta muammo: uni qanday qilib foydali tahlil qilish kerak. Ushbu masala haqida ma'lumot saqlash va Big Data boshqarish texnologiyasidan ko'ra kamroq narsa yozilgan.

Ko'rib chiqilishi kerak bo'lgan bir qator masalalar mavjud.

Xaritani qisqartirish

Yuzlab terabayt yoki petabayt ma'lumotlarini tahlil qilganda, ma'lumotlarni tahlil qilish uchun boshqa joyga olib chiqib bo'lmaydi (masalan, statistika enterprise tahlil serveri).

Kanallar orqali ma'lumotlarni alohida serverga yoki serverlarga uzatish jarayoni (parallel ishlov berish uchun) juda uzoq davom etadi va juda ko'p trafik talab qiladi.

Buning o'rniga analitik hisob-kitoblar ma'lumotlar saqlanadigan joyga yaqin joyda amalga oshirilishi kerak.

Map-Reduce algoritmi taqsimlangan hisoblash uchun modeldir. Uning ishlash printsipi quyidagilardan iborat: kirish ma'lumotlari qayta ishlov berish (map-step) uchun taqsimlangan fayl tizimining ishchi tugunlariga (individual tugunlarga), so'ngra allaqachon qayta ishlangan ma'lumotlarning biriktirilishi (birlashishi) (qadam-qadam).

Shunday qilib, ayting-chi, katta summani hisoblash uchun, algoritm taqsimlangan fayl tizimining har bir tuguniga parallel ravishda pastki natijalarni hisoblab chiqadi va so'ngra ushbu pastki qismlarni qo'shadi.

Internetda xaritalarni pasaytirish modelidan foydalangan holda turli xil hisob-kitoblarni qanday bajarish mumkinligi, shu jumladan bashoratli tahlil uchun ham juda ko'p ma'lumotlar mavjud.