Big Data qay darajada katta?

Katta ma'lumotlarni tahlil qilish

Bu strukturasiz Katta ma'lumotni tahlil qilishda juda katta muammo: uni qanday qilib foydali tahlil qilish kerak. Ushbu masala haqida ma'lumot saqlash va Big Data boshqarish texnologiyasidan ko'ra kamroq narsa yozilgan. Ko'rib chiqilishi kerak bo'lgan bir qator masalalar mavjud.

Xaritani qisqartirish

Yuzlab terabayt yoki petabayt ma'lumotlarini tahlil qilganda, ma'lumotlarni tahlil qilish uchun boshqa joyga olib chiqib bo'lmaydi (masalan, STATISTICA Enterprise tahlil serveri). Kanallar orqali ma'lumotlarni alohida serverga yoki serverlarga uzatish jarayoni (parallel ishlov berish uchun) juda uzoq davom etadi va juda ko'p trafik talab qiladi. Buning o'rniga analitik hisob-kitoblar ma'lumotlar saqlanadigan joyga yaqin joyda amalga oshirilishi kerak. Map-Reduce algoritmi taqsimlangan hisoblash uchun modeldir. Uning ishlash printsipi quyidagilardan iborat: kirish ma'lumotlari qayta ishlov berish (map-step) uchun taqsimlangan fayl tizimining ishchi tugunlariga (individual tugunlarga), so'ngra allaqachon qayta ishlangan ma'lumotlarning biriktirilishi (birlashishi) (qadam-qadam). Shunday qilib, ayting-chi, katta summani hisoblash uchun, algoritm taqsimlangan fayl tizimining har bir tuguniga parallel ravishda pastki natijalarni hisoblab chiqadi va so'ngra ushbu pastki qismlarni qo'shadi Internetda xaritalarni pasaytirish modelidan foydalangan holda turli xil hisob-kitoblarni qanday bajarish mumkinligi, shu jumladan bashoratli tahlil uchun ham juda ko'p ma'lumotlar mavjud.

Oddiy statistika, biznes intellekt (BI)

Oddiy BI hisoboti uchun sizga ko'p miqdorda, o'rtacha ko'rsatkichlar, nisbatlar va boshqalarni hisoblash imkonini beradigan ko'plab ochiq manbali mahsulotlar mavjud. xaritani qisqartirish yordamida.
Shunday qilib, hisobotlarni to'g'ri hisoblash va boshqa oddiy statistikalarni olish juda oson.

Bashoratli modellashtirish, ilg'or statistika

Bir qarashda, taqsimlangan fayl tizimida bashoratli modellarni yaratish qiyinroq tuyulishi mumkin, ammo bu har doim ham shunday emas. Keling, ma'lumotlarni tahlil qilishning dastlabki bosqichlarini ko'rib chiqaylik.
Ma'lumotlarni tayyorlash. Bir muncha vaqt oldin StatSoft elektr stantsiyasining daqiqalik daqiqalarini tavsiflovchi juda katta ma'lumotlar to'plamlarini o'z ichiga olgan qator yirik va muvaffaqiyatli loyihalarni amalga oshirdi. Ushbu tahlilning maqsadi o'simliklarning samaradorligini oshirish va emissiyalarni kamaytirish edi (Elektr Energiya Tadqiqot Instituti, 2009).
Ma'lumotlar to'plamlari juda katta bo'lishiga qaramay, ulardagi ma'lumotlar ancha kichik bo'lishi muhimdir.
Masalan, har soniyada yoki har bir daqiqada ma'lumotlar to'planib borar ekan, ko'p parametrlar (gazlar va pechlar harorati, oqimlar, amortizatorlarning holati va boshqalar) uzoq vaqt davomida barqaror bo'lib qolmoqda. Boshqacha qilib aytganda, har bir soniyada yozilgan ma'lumotlar asosan bir xil ma'lumotlarning takrorlanishidir.
Shunday qilib, elektr stantsiyasining samaradorligi va chiqindilar miqdoriga ta'sir etuvchi dinamik o'zgarishlar haqida faqat kerakli ma'lumotlarni o'z ichiga olgan ma'lumotni "aqlli" yig'ish, modellashtirish va optimallashtirish uchun ma'lumot olish kerak.
Matnlarni tasniflash va ma'lumotlarni dastlabki ishlash. Katta ma'lumotlar to'plamlari unchalik foydali bo'lmagan ma'lumotlarni qay tarzda o'z ichiga olishi mumkinligini yana bir bor ko'rsataylik.
Masalan, StatSoft tvitlar orqali yo'lovchilarni aviakompaniyalar va ularning xizmatlaridan qoniqishlarini aks ettiruvchi tvit loyihalarida qatnashdi.
Ko'p sonli tegishli tvitlar har soatda va bir marotaba olinishiga qaramay, ularda aytilgan fikrlar juda oddiy va bir xil edi. Xabarlarning ko'pi shikoyatlar va "yomon tajriba" haqida bitta jumladan kelgan qisqa xabarlardir. Bundan tashqari, ushbu fikrlarning soni va "kuchi" vaqt o'tishi bilan va muayyan masalalarda (masalan, yo'qolgan bagaj, yomon oziq-ovqat, reysni bekor qilish) nisbatan barqarordir.
Shunday qilib, haqiqiy tvitlarni matn ishlab chiqarish usullaridan foydalangan holda (masalan, amalga oshirilganlar kabi) kayfiyatni pasaytirish STATISTIKA Text Miner), natijada ancha kam ma'lumotlarga olib keladi, bu esa mavjud tuzilgan ma'lumotlar (osongina chiptalar sotuvi yoki tez-tez uchadigan ma'lumotlar) bilan osonlikcha bog'lanishi mumkin. Tahlil mijozlarni guruhlarga bo'lish va ularning odatiy shikoyatlarini ko'rib chiqishga imkon beradi.
Ushbu tahlil jarayonini osonlashtiradigan taqsimlangan fayl tizimida ma'lumotlarning bunday yig'ilishini amalga oshirish uchun ko'plab vositalar mavjud (masalan, fikrlash tezligi).