Iqtisodiyotda axborot komplekslari va texnologiyalari

10-mavzu. Katta ma’lumotlarni qayta ishlash texnologiyalari

Reja:

1. Taqsimlanadigan ma’lumot bazalari

2. ORACLE – relyatsion ma’lumotlarni boshqarish tizimi

3. Katta ma’lumotlarni (Big Data) qayta ishlash texnologiyalari

4. Oracle va MS Access MBBT ishlash texnologiyasi.

Tayanch so’z va iboralar: Oracle dasturi, ma'lumotlar bazasi, utilitlar, kontseptsiya, biznes analitikasi, NOSQL, Mapriduce, Hashaon, Apparat echimlari.
Oracle (Ma'lumotlar Bazasini Boshqarish Tizimi) – katta hajmdagi ma'lumotlarni boshqarish, ulardan kerakli ma'lumotlarni so'rov orqali istalgan ko'rinishda chiqarib olish, ma'lumotlarning zahira nusxalarini olish, katta xajmdagi ma'lumotlarni siqish, qulay interfeysda baza ustidan nazorat o'rnatish, ma'lumotlar asosida hisobotlar hosil qilish va bulardan boshqa ma'lumotlar ustida juda katta ko'lamdagi ishlarni amalga oshiradigan dasturiy kompleksdir. Oracle dasturini server va klient ko'rinishida o'rnatish mumkin va berilgan ruxsat doirasida ishlatish mumkin. Bu dastur asosan katta xajmdagi ma'lumotlar bilin ishlaganligi uchun , asosan yirik korxonalarda ishlatiladi. Bu dasturning asosini ma'lumotlar bazasi tushunchasi tashkil etadi.

Bazada saqlanayotgan ma'lumotlarni xafsizligini saqlash maqsadida Oracle(MBBT) da juda ko'p ishlar amalga oshiriladi. Ma'lumotlar bazasini tashkil etgan fayllarni: ma'lumotlar bazasi fayllari va ma'lumotlar bazasiga tegishli bo'lmagan fayllar ko'rinishida ajratishimiz mumkin. Ma'lumotlar bazasi fayllarida ma'lumotlar saqlanadi, ma'lumotlar bazasiga tegishli bo'lmagan fayllarda har xil protokollar, sozlashlar kabi qo'shimcha ma'lumotlar saqlanadi. Bu ma'lumotlar bilan Oracle administratorlari ruxsat bergan foydalanuvchilargina ishlay oladi.

Oracle ning juda ko'p utilitlari (Rman, Oracle Data Guard, Oracle Data Grid, …) mavjud bo'lib, ular ham ma'lumotlarni foydalanuvchi uchun qulay ko'rinishda taqdim etish(boshqarish, nazorat qilish) uchun ishlatiladi. Misol tariqasida Rman utilitasini oladigan bo'lsak, bu utilita bazani to'liq yoki qisman zahira nusxalarini juda katta xajmga kamaytirib(siqib) hosil qiladi va saqlash uchun o'zi chunarli bo'lgan kodlarga aylantiradi. Bazaga shikast etganda shu zahira nusha orqali bazani qayta tiklash mumkin bo'ladi.

Oracle SQL kodlari orqali buyruqlarni qabul qiladi. Bu so'rov tili ma'lumotlar bazasini yuklash, uni to'xtatish, montirovka qilish, jadvallar yaratish, o'chirish, o'zgartirish, ma'lumotlar ichidan kerakligini chiqarib olish va boshqa vazifalar uchun ishlatiladi. Bu til juda ko'p Ma'lumotlar Bazasini Boshqarish Tizim lari uchun umumiy hisoblanadi. SQL kodlari bir yoki bir necha jadvallar ustida so'rovlarni amalga oshira oladi.

Ma'lumotlarni boshqarishda foydalanuvchilarga qulaylik yaratish maqsadida Oracle dasturi yaratuvchilari Oracle Enterprise Manager deb nomlangan web sahifa yaratishgan bo'lib, bu sahifa orqali butun Oracle ni boshqarish mumkin bo'ladi. SQL kodlarini bilmaydigan foydalanuvchilar ham bu web sahifa orqali barcha vazifalarni bajarishi mumkin, faqatgina kerakli "ssыlka" larni bosish kifoya. Har bir ma'lumotlar bazasi uchun alohida-alohida Enterprise Manager sahifasi bo'ladi, har bir sahifa portlar orqali ajratiladi. Barcha brauzerlarda bu sahifa yaxshi namoyon bo'ladi va bazani xafsizligiga portlarni boshqarish yo'li bilan erishish mumkindir.

Ma'lumotlar endi tobora yangilanib turadigan va tez-tez yangilanib turadigan vaziyatni qo'shing va siz an'anaviy ma'lumotlarni tahlil qilish usullari doimiy ravishda yangilangan ma'lumotlarga ta'sir qila olmaydi, ular oxir-oqibat va yo'l texnologiyalarini ochadi katta ma'lumotlar.

Aslida, kontseptsiya katta ma'lumotlar Bu ish samaradorligini oshirish, yangi mahsulotlar yaratish va raqobatbardoshlikni oshirish uchun juda ko'p hajm va turli xil manbalar haqida ma'lumot bilan ishlashni anglatadi. Forraester konsalting kompaniyasi qisqacha so'zlarni taqdim etadi: " Katta ma'lumotlar Amaliylik chegarasi to'g'risidagi ma'lumotlarning ma'nosini olib tashlaydigan texnika va texnologiyalarni birlashtirish.

Biznes analitikasi va katta ma'lumotlar o'rtasidagi farq qanchalik katta?

Kreyg Bati, marketing va Fujitsuning Fujitsu Technologies Technologies Tayyorlash tezligi bo'yicha ishlov berish tezligi bo'yicha biznes tomonidan erishilgan natijalarni tahlil qilishning tavsifni tahlil qilish jarayonidir katta ma'lumotlar Kelgusida biznes tavsiyalarini berishga qodir bo'lgan tahlilni amalga oshirishga imkon beradi. Katta ma'lumotlar texnologiyasi, shuningdek, biznes-tahlil vositalariga nisbatan ko'proq ma'lumotlar turlarini tahlil qilishga imkon beradi, bu nafaqat tuzilgan omborxonalarga emas, balki diqqatni jalb qiladi. Mot slicumi O "dan" Reilly Rasar "ga ishonadi katta ma'lumotlar Va biznes bo'yicha tahlilchilar bir xil maqsadga ega (savolga javoblarni izlash), ular bir-birlaridan uchta jihatdan farq qiladi. Katta ma'lumotlar biznes tahlilchisiga qaraganda ko'proq ahamiyatga ega bo'lgan ma'lumotlarni hal qilish uchun mo'ljallangan va bu, albatta, katta ma'lumotlarning an'anaviy ta'rifiga mos keladi. Katta ma'lumotlar qayta ishlash uchun tezroq olingan va ma'lumotlarni o'zgartirish uchun mo'ljallangan, bu chuqur tadqiqotlar va interfalandiyaliklikni anglatadi. Ba'zi hollarda natijalar veb-sahifaga yuklangandan tezroq shakllanadi. Katta ma'lumotlar qayta ishlash usullari uchun mo'ljallangan, ular o'zlarining to'plamlari va saqlashni o'rnatgandan so'ng foydalana boshlagan va biz ushbu massivlardagi tendentsiyalarni izlash uchun algoritmlar va dialogni ham qilishni talab qilamiz.

Oracle-Nashr qilingan oq kitob ma'lumotlariga ko'ra, "Oracle Axborot" arxitekturasi: Katta ma'lumotlarga ega bo'lgan arxitektorning qo'llanmasi. Katta ma'lumotlar bilan ishlash odatiy qiymat razvedka jarayoniga o'xshash emas, unda ma'lum qiymatlar oddiy qo'shilishi natija keltiradi: masalan, pullik hisobvaraqlar qo'shilishi yil uchun savdo hajmiga aylanadi. Katta ma'lumotlar bilan ishlashda, natijada gipoteza oldinga, statistik, vizual yoki semantik model qurilishi, statistik, vizual yoki semantik model qurilgan, gipotezalar uchun sadoqat belgilangan va keyin keyingisi oldinga qarab qo'yiladi. Ushbu jarayon vizual qiymatlarni o'rganish yoki sharhlovchi yoki interfaol bilimlarga asoslangan so'rovlarni tuzishni yoki "Kerakli natijaga erishishga qodir" vositalarini o'rganishga qodir bo'lgan "Mashina o'qitish algoritmlarini ishlab chiqishni talab qiladi. Va bunday algoritmning umri juda qisqa bo'lishi mumkin.

Katta ma'lumotlar platformalari (BDP, BDP, BED, BEA Ma'lumotlar platformasi) raqamli ishlarga qarshi vositasi sifatida Tahlil qilish qobiliyati katta ma'lumotlar, Ajablanib, katta ma'lumotlarga ko'ra, yaxshi deb qabul qilingan va aniq seziladi. Ammo bu haqiqatan hammi? Umumiy ma'lumot to'plashi mumkinmi? Aslida, inson psixologlari insonga nisbatan patologik saqlash, siltloromikiya yoki majoziy ma'noda "Plyuchkin sindromi" deb nomlanadi. Ingliz tilida bir qatorda hamma narsani to'plash uchun yoqimli ehtiroslar qo'shilgan (Ingliz chuvalidan - "Stok" dan). Ruhiy kasalliklar tasnifiga ko'ra, xorodlash ruhiy kasalliklarga asoslangan. Raqamli to'planish (raqamli to'planish) raqamli davrga qo'shiladi, ular shaxsga ham, butun korxona va tashkilotlarga () ham zarar etkazishi mumkin ().

To'plash, qayta ishlash, boshqarish va tahlil qilish vositalariga qiziqish katta ma'lumotlar Tabiiy bo'lgan barcha etakchi IT kompaniyalarini fosh qildi. Birinchidan, ular darhol o'z bizneslarida bu hodisaga duch kelishadi, ikkinchidan, katta ma'lumotlar Bozorning yangi bo'g'iqlarini rivojlantirish va yangi mijozlarni jalb qilish uchun ajoyib imkoniyatlarni oching. Bozorda ko'plab startaplar biznesni katta ma'lumotlarni qayta ishlash bo'yicha ish olib boradi. Ulardan ba'zilari tomonidan taqdim etilgan oxirgi bulut infratuzilmasidan foydalanadilar katta o'yinchilar Amazon kabi.

Big ma'lumotlar tahlillari: katta ma'lumotlarning foydasi nima Tovarlar va xizmatlarni targ'ib qilish: Facebook va Twitter kabi qidiruv tizimlari va saytlari ma'lumotlariga kirish korxonalarga marketing strategiyasini aniqlab olish imkoniyatini beradi. Xaridorlar uchun xizmatni yaxshilash: An'anaviy xaridorlarning aloqa tizimlari yangi ma'lumotlar bilan almashtiriladi, ularda katta ma'lumotlar va tabiiy tilni qayta ishlash mijozning sharhini o'qish va baholash uchun ishlatiladi. Xavfni hisoblashyangi mahsulot yoki xizmatni chiqarish bilan bog'liq. Operatsion samaradorlik: Kerakli ma'lumotlarni tezda olib tashlash va zudlik bilan aniq natija berish uchun katta ma'lumotlar tuzilgan. Katta ma'lumotlar va omborlarning bunday kombinatsiyasi tashkilotlar kamdan-kam ishlatiladigan ma'lumotlar bilan ishlashni optimallashtirishga yordam beradi. Faqat dangasa katta ma'lumot bermaydi, lekin nima va u qanday ishlaydi - bu dargumon. Eng oddiy terminologiyadan boshlaylik. Rus tilida katta ma'lumotlar, ikkala tuzilgan va tuzilmaydigan ma'lumotlar uchun aniq vazifalar va maqsadlar uchun foydalanish uchun turli xil vositalar, ham tuzilmalar va qayta ishlash usullari. Tuzilmagan ma'lumotlar - bu oldindan belgilangan tuzilishga ega bo'lmagan yoki ma'lum tartibda tashkil qilinmagan ma'lumotlar. "Katta ma'lumotlar" atamasi 2008 yilda Jahon axborotining hajmining portlashi portlashiga bag'ishlangan maxsus masala bo'yicha jurnal Tabiat muharriri Magazin Tabiat muharririni kiritdi. Albatta, katta ma'lumotlar oldin katta ma'lumotlar mavjud. Mutaxassislarning fikriga ko'ra, katta ma'lumotlar toifasi kuniga 100 Gb dan yuqori bo'lgan ma'lumotlar oqimlarining ko'p qismini o'z ichiga oladi.

Katta ma'lumotlar texnologiyasi. Katta ma'lumotlar hajmi, shunda odam ular uchun samarali foydalanish uchun aniq va zaruriy natijalarga erishishi uchun ishlov beriladi.

McKinsining katta ma'lumotlariga nisbatan qo'llaniladigan usul va tahlil usullari: Crowdsurcing; Aralash va ma'lumotlar integratsiyasi; Mashinani o'rganish; Sun'iy neyron tarmoqlari; Naqshni aniqlash; Prognoz analitikalar; Simulyatsiya; Fazoviy tahlil; Statistik tahlil; Analitik ma'lumotlarni vizualizatsiya qilish. Ma'lumotni qayta ishlashni ta'minlaydigan gorizontal jihatdan katta imkoniyatlar - katta ma'lumotlarni qayta ishlashning asosiy printsipi. Ma'lumotlar ishoratlar uchun tarqatiladi va ishlov berish unumdorlikni buzmasdan sodir bo'ladi. McKinsey qo'llanma kontekstida nisbatan nazorat tizimlari va biznes razvedkalari ham o'z ichiga oldi. Texnologiyalar: NOSQL; Mapriduce; Hashaon; Apparat echimlari.