Big Date ning ajoyib o'sishi

Katta ma'lumotlar- bu nafaqat ma'lumotlarning o'zi, balki ularni qayta ishlash va foydalanish texnologiyalari, katta massivlarda kerakli ma'lumotlarni topish usullari. Katta ma'lumotlar muammosi o'nlab yillar davomida turli xil ma'lumotlarni to'playdigan har qanday tizimlar uchun ochiq va muhim bo'lib qolmoqda.
Bu atama ibora bilan bog'liq "Hajm, tezlik, xilma-xillik"- katta ma'lumotlar bilan ishlash tamoyillari. Bu to'g'ridan-to'g'ri ma'lumotlar miqdori, ishlov berish tezligi va turli xil ma'lumotlar massivda saqlanadi. Yaqinda uchta asosiy tamoyilga yana biri qo'shila boshlandi - Qiymat degani ma'lumotlarning qiymati... Ya'ni, u nazariy yoki amaliy jihatdan foydali va zarur bo'lishi kerak, bu uni saqlash va qayta ishlash xarajatlarini oqlaydi.
Ijtimoiy media odatiy katta ma'lumot manbasiga misol bo'ladi - har bir profil yoki ochiq sahifa tuzilmagan ma'lumotlar okeanidagi kichik bir tomchidir. Bundan tashqari, ma'lum bir profilda saqlangan ma'lumotlarning miqdoridan qat'i nazar, foydalanuvchilarning har biri bilan o'zaro aloqa imkon qadar tezroq bo'lishi kerak.
Katta ma'lumotlar inson hayotining deyarli barcha sohalarida doimiy ravishda to'planadi. Bunga odamlarning o'zaro ta'siri yoki hisoblash bilan bog'liq har qanday sanoat kiradi. Bular ijtimoiy media, tibbiyot va bank, shuningdek, kundalik hisob-kitoblarning ko'plab natijalarini oladigan qurilma tizimlari. Masalan, astronomik kuzatishlar, meteorologik ma'lumotlar va Yerni zondlash qurilmalaridan olingan ma'lumotlar.
Haqiqiy vaqtda barcha turdagi kuzatuv tizimlaridan ma'lumotlar ham ma'lum bir kompaniyaning serverlariga boradi. Televidenie va radioeshittirishlar, uyali aloqa operatorlarining qo'ng'iroqlar bazalari - har bir shaxsning ular bilan o'zaro aloqasi minimal, ammo jami bu ma'lumotlarning barchasi katta ma'lumotlarga aylanadi.
Katta ma'lumotlar texnologiyalari tadqiqot va ishlanmalar va tijoratning ajralmas qismiga aylandi. Bundan tashqari, ular davlat boshqaruvi sohasini egallashni boshladilar - va hamma joyda axborotni saqlash va manipulyatsiya qilishning yanada samarali tizimlarini joriy etish talab etiladi.
"Katta ma'lumotlar" atamasi matbuotda birinchi marta 2008 yilda tabiat muharriri Klifford Linch katta hajmdagi ma'lumotlar bilan ishlash texnologiyalaridan foydalangan holda ilm-fan kelajagi rivojlanishi haqidagi maqolani chop etganida paydo bo'ldi. 2009 yilgacha ushbu atama faqat ilmiy tahlil nuqtai nazaridan ko'rib chiqildi, ammo yana bir nechta maqolalar nashr etilgandan so'ng, matbuot Big Data tushunchasini keng qo'llashni boshladi - va hozirda uni qo'llashda davom etmoqda.
2010 yilda o'sib borayotgan katta ma'lumotlar muammosini hal qilish uchun birinchi urinishlar paydo bo'la boshladi. Dasturiy ta'minot mahsulotlari chiqarildi, ularning harakati katta axborot massivlaridan foydalanishda xavflarni minimallashtirishga qaratilgan edi.
2011 yilga kelib, Microsoft, Oracle, EMC va IBM kabi yirik kompaniyalar katta ma'lumotlarga qiziqish bildirishdi - ular birinchi bo'lib Big Data ishlanmalaridan o'z rivojlanish strategiyalarida foydalanishdi va juda muvaffaqiyatli.
Universitetlar katta ma'lumotlarni o'rganishni alohida fan sifatida 2013 yilda boshlagan - endi bu sohadagi muammolar nafaqat ma'lumotlar faniga, balki hisoblash fanlari bilan birlashtirilgan muhandislikka ham tegishli.
Ma'lumotlarni tahlil qilish va qayta ishlashning asosiy usullari quyidagilardan iborat:

1.