Katta ma'lumotlarni qayta ishlash texnologiyalari katta o’qituvchi N. M. mallaboyev o’qituvchi D. Boqijanov

qayta ishlanadigan ma'lumotlarni tanlash muammosi: ya'ni qaysi ma'lumotlarni olish, saqlash va tahlil qilish kerakligini va qaysi biriga e'tibor bermaslik kerakligini aniqlash.
Ko'pgina biznes vakillarining ta'kidlashicha, Big Data loyihalarini amalga oshirishdagi qiyinchiliklar mutaxassislar-marketologlar va tahlilchilarning etishmasligi bilan bog'liq. Katta ma'lumotlarga investitsiyalarning daromadlilik darajasi bevosita chuqur va bashoratli tahlil bilan shug'ullanadigan xodimlarning ish sifatiga bog'liq. Tashkilotda mavjud bo'lgan ulkan ma'lumotlar salohiyatidan ko'pincha eskirgan biznes jarayonlari yoki ichki qoidalar tufayli marketologlarning o'zlari samarali foydalana olmaydi. Shuning uchun, Big Data loyihalari ko'pincha korxonalar tomonidan nafaqat amalga oshirishda, balki natijalarni baholashda ham qiyin deb qabul qilinadi: to'plangan ma'lumotlarning qiymati. Ma'lumotlar bilan ishlashning o'ziga xos xususiyatlari marketologlar va tahlilchilardan e'tiborini texnologiyadan o'zgartirishni va muayyan biznes muammolarini hal qilish uchun hisobotlarni yaratishni talab qiladi. Ma'lumotlar oqimining katta hajmi va yuqori tezligi tufayli ma'lumotlarni yig'ish jarayoni real vaqt rejimida ETL protseduralarini o'z ichiga oladi. Malumot uchun:ETL dan Ingliz Ekstrakt, O'zgartirish, Yuklash- tom ma'noda "chiqarish, o'zgartirish, yuklash")-boshqaruvdagi asosiy jarayonlardan biri ma'lumotlar ombori, bu quyidagilarni o'z ichiga oladi: tashqi manbalardan ma'lumotlarni olish, ularni o'zgartirish va ehtiyojlarini qondirish uchun tozalash ETLni nafaqat ma'lumotlarni bir dasturdan ikkinchisiga o'tkazish jarayoni sifatida, balki ma'lumotlarni tahlil qilish uchun tayyorlash vositasi sifatida ham ko'rish kerak, keyin tashqi manbalardan keladigan ma'lumotlar xavfsizligini ta'minlash masalalari to'plangan ma'lumotlar miqdoriga mos keladigan echimlarga ega bo'lishi kerak. Katta ma'lumotlarni tahlil qilish usullari hozirgacha faqat ma'lumotlar hajmining o'sishi bilan rivojlanayotganligi sababli, ma'lumotlarni tayyorlash va yig'ishning yangi usullaridan foydalanishda analitik platformalar mulki muhim rol o'ynaydi. Bu shuni ko'rsatadiki, masalan, potentsial mijozlar to'g'risidagi ma'lumotlar yoki onlayn-do'kon saytlarini bosish tarixi bo'lgan katta ma'lumotlar ombori turli muammolarni hal qilish uchun qiziqarli bo'lishi mumkin. Big Datani joriy etishdagi barcha qiyinchiliklarga qaramay, biznes ushbu sohaga investitsiyalarni ko'paytirish niyatida. Gartner ma'lumotlariga ko'ra, 2013 yilda dunyodagi eng yirik kompaniyalarning 64 foizi o'z bizneslari uchun Big Data sohasida texnologiyalarni joriy etishga sarmoya kiritgan yoki investitsiya qilishni rejalashtirgan bo'lsa, 2012 yilda bu ko'rsatkich 58 foizni tashkil etgan. Gartner tadqiqotiga ko‘ra, Big Dataga sarmoya kirituvchi sohalarning yetakchilari media-kompaniyalar, telekommunikatsiya, bank va xizmat ko‘rsatish kompaniyalari hisoblanadi. Katta ma'lumotlarni joriy etishning muvaffaqiyatli natijalariga chakana sektorning ko'plab yirik o'yinchilari allaqachon radiochastotani identifikatsiyalash vositalari, logistika va replikatsiya tizimlari (ingliz tilidan.