Reja: Big-Data texnologiyasi. Katta ma’lumotlarni tahlil qilish tizimlari

2. Katta ma’lumotlar va biznes. Katta ma’lumotlarni tahlil
qilish texnikasi.
Ma’lumotlar to’plamini tahlil qilishning turli xil usullari mavjud, ular statistikadan va kompyuter fanidan olingan vositalarga asoslangan (masalan, mashinada o’rganish). Ro’yxat to’liq deb da’vo qilmaydi, ammo u turli sohalardagi eng mashhur yondashuvlarni aks ettiradi. Shu bilan birga, tadqiqotchilar yangi texnikalarni yaratish va mavjudlarini takomillashtirish ustida ishlashni davom ettirishlarini tushunish kerak. Bundan tashqari, yuqorida sanab o’tilgan ba’zi usullar faqat katta ma’lumotlarga taalluqli emas va kichik massivlar uchun muvaffaqiyatli ishlatilishi mumkin (masalan, A/B sinovlari, regressiya tahlili). Albatta, massiv qanchalik ko’p hajmli va turlicha tahlil qilinsa, chiqishda shuncha aniq va kerakli ma’lumotlarni olish mumkin. A/B sinovlari. Nazorat namunasi boshqalar bilan birma-bir taqqoslanadigan usul. Shunday qilib, masalan, marketing taklifiga iste'molchilarning eng yaxshi javobini olish uchun ko’rsatkichlarning optimal kombinatsiyasini aniqlash mumkin. Katta ma’lumotlar juda ko’p sonli takrorlashni amalga oshirishga imkon beradi va shu bilan statistik jihatdan ishonchli natijaga erishadi. Uyushma qoidalarini o’rganish. O’zaro munosabatlarni aniqlash uchun texnik vositalar to’plami, ya’ni. assotsiatsiya qoidalari, katta ma’lumotlar to’plamidagi o’zgaruvchilar o’rtasida. Ichida ishlatilgan ma’lumotlar qazib olish. Tasnifi. Bozorning ma’lum bir segmentida iste'molchilarning xatti-harakatlarini bashorat qilishga imkon beradigan texnikalar to’plami (sotib olish, chiqib ketish, iste'mol qilish va h.k.). Ichida ishlatilgan ma’lumotlar qazib olish. Klaster tahlili. Oldindan noma’lum bo’lgan umumiy xususiyatlarni aniqlash orqali ob'ektlarni guruhlarga ajratishning statistik usuli. Ichida ishlatilgan ma’lumotlar qazib olish. Ko’p sonli manbalardan ma’lumotlarni yig’ish metodikasi. Ma’lumotlarni birlashtirish va ma’lumotlarni birlashtirish. Ijtimoiy tarmoqlar foydalanuvchilarining sharhlarini tahlil qilish va real vaqt rejimida ularni savdo natijalari bilan taqqoslash imkonini beradigan texnikalar to’plami. Ma’lumotlarni qazib olish. Rag’batlantirilayotgan mahsulot yoki xizmatni eng yaxshi qabul qiladigan iste'molchilar toifalarini aniqlashga, eng muvaffaqiyatli xodimlarning xususiyatlarini aniqlashga va iste'molchilarning xulq-atvor modelini taxmin qilishga imkon beradigan usullar to’plami.
Ansamblni o’rganish. Ushbu usulda turli xil prognozli modellar qo’llaniladi va shu bilan prognozlar sifati yaxshilanadi. Genetik algoritmlar. Ushbu texnikada mumkin bo’lgan echimlar birlashishi va mutatsiyaga uchrashi mumkin bo’lgan "xromosomalar" shaklida keltirilgan. Tabiiy evolyutsiya jarayonida bo’lgani kabi, eng yaroqli tirik qoladi. Mashinada o’qitish. Informatikadagi yo’nalish (tarixiy jihatdan "sun'iy intellekt" nomi uning orqasida qolgan), bu empirik ma’lumotlarni tahlil qilish asosida o’z-o’zini o’rganish algoritmlarini yaratishga qaratilgan. Tabiiy tilni qayta ishlash (NLP). Informatika va lingvistikadan olingan insonning tabiiy tilini tanib olish texnikasi to’plami. Tarmoq tahlili. Tarmoqlardagi tugunlar orasidagi bog’lanishlarni tahlil qilish texnikasi to’plami. Ijtimoiy tarmoqlarda qo’llaniladi, bu sizga individual foydalanuvchilar, kompaniyalar, jamoalar va boshqalar o’rtasidagi munosabatlarni tahlil qilish imkonini beradi. Optimallashtirish. Bir yoki bir nechta ko’rsatkichlarni yaxshilash uchun murakkab tizimlar va jarayonlarni qayta loyihalashtirishning raqamli usullari to’plami. Strategik qarorlarni qabul qilishda yordam beradi, masalan, bozorga kiritilgan mahsulot qatorining tarkibi, investitsiya tahlilini o’tkazish va hk. Naqshni tanib olish. Iste'molchilarning xulq-atvor shakllarini bashorat qilish uchun o’z-o’zini o’rganish elementlariga ega bo’lgan texnikalar to’plami. Bashoratli modellashtirish. Hodisalarni rivojlantirish uchun oldindan aniqlangan taxminiy stsenariyning matematik modelini yaratishga imkon beradigan texnikalar to’plami. Masalan, ma’lumotlar bazasini tahlil qilish CRM - obunachilarni o’z provayderlarini o’zgartirishga undaydigan mumkin bo’lgan sharoitlar tizimlari. Regressiya. Bog’liq o’zgaruvchining o’zgarishi va bir yoki bir nechta mustaqil o’zgaruvchilar o’rtasidagi qonuniyatlarni aniqlash uchun statistik usullar to’plami. Ko’pincha prognozlash va bashorat qilish uchun ishlatiladi. Ma’lumotlarni qazib olishda foydalaniladi. Tuyg’ularni tahlil qilish. Iste'molchilarning kayfiyatini baholash usullari insonning tabiiy tilini tanib olish texnologiyalariga asoslangan. Ular sizga qiziqish mavzusi bilan bog’liq bo’lgan umumiy ma’lumot oqimidan xabarlarni ajratishga imkon beradi (masalan, iste'mol tovarlari). Keyinchalik, hukmning kutupliligini (ijobiy yoki salbiy), hissiyot darajasi va boshqalarni baholang. Signalni qayta ishlash. Shovqin fonida signallarni tanib olish va uni keyingi tahlil qilish maqsadiga qaratilgan radiotexnika tomonidan olingan texnikalar to’plami. Mekansal tahlil. Statistik ma’lumotlardan qisman olingan kosmik ma’lumotlarni tahlil qilish usullari to’plami - relyef topologiyasi, geografik koordinatalar, ob'ektlarning geometriyasi. Manba katta ma’lumotlar bu holda ko’pincha geografik axborot tizimlari (GIS) ishlatiladi. Statistika. Ma’lumotlarni yig’ish, tartibga solish va sharhlash, shu jumladan anketalarni loyihalash va tajribalar o’tkazish fani. Statistik usullar ko’pincha ba’zi hodisalar o’rtasidagi munosabatlar to’g’risida baholash uchun ishlatiladi. Nazorat ostida o’rganish. Tahlil qilinayotgan ma’lumotlar to’plamida funktsional munosabatlarni aniqlashga imkon beradigan mashinasozlik texnologiyalariga asoslangan metodlar to’plami. Simulyatsiya. Murakkab tizimlarning xatti-harakatlarini modellashtirish ko’pincha rejalashtirishda bashorat qilish, bashorat qilish va turli xil stsenariylarni ishlab chiqish uchun ishlatiladi. Vaqt qatorlarini tahlil qilish. Vaqt o’tishi bilan takrorlanadigan ma’lumotlar ketma-ketligini tahlil qilish usullari to’plami, statistika va raqamli signallarni qayta ishlashdan olingan. Aniq qo’llanilishlardan biri bu fond bozori yoki bemorlarning kasalligini kuzatib borishdir. Nazorat qilinmagan o’rganish. Tahlil qilinayotgan ma’lumotlar to’plamida yashirin funktsional munosabatlarni ochib berishga imkon beradigan mashinasozlik texnologiyalariga asoslangan metodlar to’plami. Bilan birgalikda Klaster tahlili. Vizualizatsiya. Tafsirni osonlashtirish va natijalarni tushunishni osonlashtirish uchun katta ma’lumotlarni tahlil qilish natijalarini diagramma yoki animatsion rasm shaklida grafik tarzda taqdim etish usullari. Katta ma’lumotlarni tahlil qilish natijalarini vizualizatsiya qilish ularni izohlash uchun muhimdir. Hech kimga sir emaski, odamlarning idroki cheklangan va olimlar ma’lumotlarni tasvirlar, diagrammalar yoki animatsiyalar ko’rinishida taqdim etishning zamonaviy usullarini takomillashtirish bo’yicha izlanishlarni davom ettirmoqdalar.