Big Data asosiy tamoyillari

Oddiy statistika, biznes intellekt (BI)

Oddiy BI hisoboti uchun sizga ko'p miqdorda, o'rtacha ko'rsatkichlar, nisbatlar va boshqalarni hisoblash imkonini beradigan ko'plab ochiq manbali mahsulotlar mavjud. xaritani qisqartirish yordamida.

Shunday qilib, hisobotlarni to'g'ri hisoblash va boshqa oddiy statistikalarni olish juda oson.

Bashoratli modellashtirish, ilg'or statistika

Bir qarashda, taqsimlangan fayl tizimida bashoratli modellarni yaratish qiyinroq tuyulishi mumkin, ammo bu har doim ham shunday emas. Keling, ma'lumotlarni tahlil qilishning dastlabki bosqichlarini ko'rib chiqaylik.

Ma'lumotlarni tayyorlash. Bir muncha vaqt oldin StatSoft elektr stantsiyasining daqiqalik daqiqalarini tavsiflovchi juda katta ma'lumotlar to'plamlarini o'z ichiga olgan qator yirik va muvaffaqiyatli loyihalarni amalga oshirdi. Ushbu tahlilning maqsadi o'simliklarning samaradorligini oshirish va emissiyalarni kamaytirish edi (Elektr Energiya Tadqiqot Instituti, 2009).

Ma'lumotlar to'plamlari juda katta bo'lishiga qaramay, ulardagi ma'lumotlar ancha kichik bo'lishi muhimdir.

Masalan, har soniyada yoki har bir daqiqada ma'lumotlar to'planib borar ekan, ko'p parametrlar (gazlar va pechlar harorati, oqimlar, amortizatorlarning holati va boshqalar) uzoq vaqt davomida barqaror bo'lib qolmoqda. Boshqacha qilib aytganda, har bir soniyada yozilgan ma'lumotlar asosan bir xil ma'lumotlarning takrorlanishidir.

Shunday qilib, elektr stantsiyasining samaradorligi va chiqindilar miqdoriga ta'sir etuvchi dinamik o'zgarishlar haqida faqat kerakli ma'lumotlarni o'z ichiga olgan ma'lumotni "aqlli" yig'ish, modellashtirish va optimallashtirish uchun ma'lumot olish kerak.

Matnlarni tasniflash va ma'lumotlarni dastlabki ishlash. Katta ma'lumotlar to'plamlari unchalik foydali bo'lmagan ma'lumotlarni qay tarzda o'z ichiga olishi mumkinligini yana bir bor ko'rsataylik.

Masalan, StatSoft tvitlar orqali yo'lovchilarni aviakompaniyalar va ularning xizmatlaridan qoniqishlarini aks ettiruvchi tvit loyihalarida qatnashdi.

Ko'p sonli tegishli tvitlar har soatda va bir marotaba olinishiga qaramay, ularda aytilgan fikrlar juda oddiy va bir xil edi. Xabarlarning ko'pi shikoyatlar va "yomon tajriba" haqida bitta jumladan kelgan qisqa xabarlardir. Bundan tashqari, ushbu fikrlarning soni va "kuchi" vaqt o'tishi bilan va muayyan masalalarda (masalan, yo'qolgan bagaj, yomon oziq-ovqat, reysni bekor qilish) nisbatan barqarordir.

Shunday qilib, haqiqiy tvitlarni matn ishlab chiqarish usullaridan foydalangan holda (masalan, amalga oshirilganlar kabi) kayfiyatni pasaytirish STATISTIKA Text Miner), natijada ancha kam ma'lumotlarga olib keladi, bu esa mavjud tuzilgan ma'lumotlar (osongina chiptalar sotuvi yoki tez-tez uchadigan ma'lumotlar) bilan osonlikcha bog'lanishi mumkin. Tahlil mijozlarni guruhlarga bo'lish va ularning odatiy shikoyatlarini ko'rib chiqishga imkon beradi.

Ushbu tahlil jarayonini osonlashtiradigan taqsimlangan fayl tizimida ma'lumotlarning bunday yig'ilishini amalga oshirish uchun ko'plab vositalar mavjud (masalan, fikrlash tezligi).