Katta ma'lumotlarni qayta ishlash texnologiyalari katta o’qituvchi N. M. mallaboyev o’qituvchi D. Boqijanov

Katta ma'lumotlarni qayta ishlash texnologiyalari.
katta o’qituvchi N.M.mallaboyev
o’qituvchi D.Boqijanov
Katta ma'lumotlar, "Katta ma'lumotlar" bir necha yillardan beri IT va marketing matbuotida shaharning nutqiga aylandi va bu aniq: raqamli texnologiyalar zamonaviy inson hayotiga kirib, "hamma narsa yozilgan". Hayotning turli jabhalari bo'yicha ma'lumotlar hajmi o'sib bormoqda va shu bilan birga, axborotni saqlash imkoniyatlari o'sib bormoqda.
Aksariyat ekspertlar ma'lumotlar o'sishining tezlashishi ob'ektiv haqiqat ekanligiga qo'shiladilar. Ijtimoiy tarmoqlar, mobil qurilmalar, o'lchash moslamalari ma'lumotlari, biznes ma'lumotlari ulkan hajmdagi ma'lumotlarni yaratishi mumkin bo'lgan manbalarning bir nechtasi. Tadqiqotga ko'ra IDCRaqamli koinot 2012-yilda nashr etilgan, keyingi 8 yil ichida dunyodagi ma'lumotlar hajmi 40 Zb (zettabayt) ga etadi, bu sayyoramizning har bir aholisi uchun 5200 Gb ga teng.
Axborotning muhim qismi odamlar tomonidan emas, balki bir-biri bilan va boshqa ma'lumotlar tarmoqlari, masalan, sensorlar va aqlli qurilmalar bilan o'zaro ta'sir qiluvchi robotlar tomonidan yaratiladi. Bunday o'sish sur'atlari bilan dunyodagi ma'lumotlar miqdori, tadqiqotchilarning prognozlariga ko'ra, har yili ikki baravar ko'payadi. Virtual soni va jismoniy serverlar yangi ma'lumotlar markazlarini kengaytirish va yaratish hisobiga dunyoda o'n barobar o'sadi. Shu munosabat bilan ushbu ma'lumotlardan samarali foydalanish va monetizatsiya (faoliyat yoki nashr etilgan ishdan moliyaviy daromad olish harakati) qilish zarurati ortib bormoqda. Katta ma'lumotlardan biznesda foydalanish katta sarmoyani talab qilganligi sababli, siz vaziyatni aniq tushunishingiz kerak. Va bu, aslida, oddiy: siz xarajatlarni kamaytirish va sotishni ko'paytirish orqali biznesingiz samaradorligini oshirishingiz mumkin.
Katta ma'lumotlar paradigmasi uchta asosiy turdagi vazifalarni belgilaydi.

• 
  An'anaviy relyatsion ma'lumotlar bazalari samarali foydalana olmaydigan yuzlab terabayt yoki petabayt ma'lumotlarni saqlash va boshqarish.
  
• 
  Matn, rasmlar, videolar va boshqa turdagi ma'lumotlardan iborat tuzilmagan ma'lumotlarni tashkil qilish.
  
• 
  Katta ma'lumotlarni tahlil qilish, bu tizimlashtirilmagan ma'lumotlar bilan ishlash, tahliliy hisobotlarni yaratish va bashoratli modellarni amalga oshirish masalasini ko'taradi.
  

Katta ma'lumotlar loyihalari bozori biznes razvedkasi (BA) bozori bilan kesishadi, dunyodagi hajmi, ekspertlarning fikriga ko'ra, 2012 yilda taxminan 100 milliard dollarni tashkil etdi. U tarkibiy qismlarni o'z ichiga oladi tarmoq texnologiyalari, serverlar, dasturiy ta'minot va texnik xizmatlar. Bundan tashqari, Big Data texnologiyalaridan foydalanish kompaniyalar faoliyatini avtomatlashtirish uchun mo'ljallangan daromad kafolati (RA) sinfining echimlari uchun dolzarbdir. Zamonaviy daromadlarni kafolatlash tizimlari nomuvofiqliklarni aniqlash va ma'lumotlarni chuqur tahlil qilish vositalarini o'z ichiga oladi, bu moliyaviy natijalarning pasayishiga olib kelishi mumkin bo'lgan yo'qotishlarni yoki ma'lumotlarning buzilishini o'z vaqtida aniqlash imkonini beradi. Shu fonda, Rossiya kompaniyalari ichki bozorda Big Data texnologiyalariga bo'lgan talabni tasdiqlab, Rossiyada Big Data rivojlanishini rag'batlantiradigan omillar ma'lumotlarning o'sishi, boshqaruv qarorlarini qabul qilishning tezlashishi va ularning ko'payishi ekanligini ta'kidlamoqda. sifat.
Bugungi kunda to'plangan raqamli ma'lumotlarning atigi 0,5 foizi tahlil qilinmoqda, ammo ob'ektiv ravishda hal qilinishi mumkin bo'lgan soha miqyosidagi vazifalar mavjud. Analitik yechimlar katta ma'lumotlar klassi. Rivojlangan IT bozorlarida katta ma'lumotlarni to'plash va qayta ishlash bilan bog'liq taxminlarni baholash uchun foydalanish mumkin bo'lgan natijalar allaqachon mavjud. Katta ma'lumotlarni amalga oshirishga to'sqinlik qiluvchi asosiy omillardan biri-loyihalardan tashqari yuqori narx, hisoblaydi