Big Data asosiy tamoyillari

Qurilish modellari

Ko'pincha qiyinchilik taqsimlangan fayl tizimida saqlanadigan ma'lumotlar uchun aniq modellarni tezda yaratishdir.

Taqsimlangan fayl tizimida ma'lumotlarni keng miqyosli parallel qayta ishlash uchun mos keladigan turli xil ma'lumot ishlab chiqarish / bashorat qiluvchi tahlil algoritmlari uchun xaritalarni qisqartirish dasturlari mavjud (platforma tomonidan qo'llab-quvvatlanishi mumkin) STATISTIKA StatSoft).

Ammo, siz juda ko'p miqdordagi ma'lumotlarni qayta ishlaganingiz sababli, oxirgi model haqiqatan ham aniqroq ekanligiga aminmisiz?

Aslida, tarqatilgan fayl tizimida kichik ma'lumotlar segmentlari uchun modellarni yaratish qulayroqdir.

Yaqinda Forresterning hisobotida aytilganidek, "Ikki plyus ikkita ikkita 3.9 ga teng, odatda yaxshi" (Xopkins va Evelson, 2011).

Statistik va matematik aniqlik, chiziqli regressiya modeli, masalan, to'g'ri tuzilgan 10 bashorat qiluvchini o'z ichiga olganligidadir. ehtimollik namunasi 100000 kuzatuvdan 100 million kuzatuv bilan yaratilgan model kabi aniqroq bo'ladi.

Faqat dangasa odamlar Katta ma'lumotlar haqida gapirishmaydi, lekin ular nima ekanligini va qanday ishlashini tushunish qiyin. Eng sodda - terminologiyadan boshlaylik. Rus tilida gapirsangiz, Katta ma'lumotlar bu har xil vositalar, yondashuvlar va usullar bo'lib, ular strukturalangan va tuzilmaydigan ma'lumotlardan ma'lum vazifalar va maqsadlarda foydalanish uchun foydalaniladi.

Tuzilmaydigan ma'lumotlar bu oldindan tuzilmagan yoki ma'lum tartibda tashkil qilinmagan ma'lumotlardir.

"Katta ma'lumotlar" atamasini 2008 yilda Nature jurnalining muharriri Clifford Lynch dunyo bo'ylab ma'lumotlar hajmining keskin o'sishiga bag'ishlangan maxsus sonida ilgari surgan edi. Albatta, katta ma'lumotlarning o'zi oldin ham mavjud edi. Mutaxassislarning fikriga ko'ra, kuniga 100 Gb dan ortiq ma'lumotlar oqimining katta qismi Katta ma'lumotlar toifasiga kiradi.