Ma'lumotlarni intelektual tahlil qilishning metodlari

MA'LUMOTLARNI INTELEKTUAL TAHLIL QILISHNING METODLARI

1. 
   Ahmedov – Nizomiy nomidagi TDPU 2-kurs magistranti
   
2. 
   Telefon: [phone].
   

Xozirgi davrda internet rivojlangani sayin turli xil sohalarga oid axborotlar oqimi ham jadal ravishda ko’payib bormoqda. Bu esa insonlarga axborotlarni qabul qilishda,ularni eslab qolishda va saralashda bir qancha qiyinchiliklar yaratadi. Bevosita axborotlarni tahlil qilish talab etiladi. Axborotlarni bir-biridan farqlash,ularni guruhlarga bo’lgan holda o’rganish ma’lumotlar saralash jarayonnini osonlashtiradi. Axborot texnologiyalarining rivojlanishi natijasida elektron shaklda to'plangan ma'lumotlar miqdori tez o'sib bormoqda. Ushbu ma'lumotlar turli formatlarda mavjud: matnlar, rasmlar, audio, video, gipermatnli hujjatlarga aloqador ma'lumotlar bazasi va boshqa ma’lumotlar kiradi.

Ma’lum bir kasb yoki hunar egasi uchun o’zining sohasidagi ma’lumotlar va shu sohaga yaqin bo’lgan ma’lumotlar bazasi kerak bo’ladi. Biroq aynan sohasiga oid turli xil ma’lumotlar ko’pligi sababli, mavjud ma'lumotlarning aksariyati ma'lum bir kasb egasi uchun hech qanday foyda keltirmaydi. U bunday miqdordagi ma'lumotlarni qayta ishlashga qodir emas. Ko'p miqdordagi ma'lumotlardan foydalanuvchilarga qulay ma'lumotni olish muammosi mavjud.

Ma'lumotlar kontseptsiyasi keng tarqalgan bo'lib ishlatiladigan Data Mining atamasiga mos keladi, bu atama ko'pincha ma'lumotlar qidirish, ma'lumotlarni chuqur tahlil qilish, ma’lumotlarni saralash, bilimlarni yig'ish, ma'lumotlar bazasida bilimlarni qazib olish deb tarjima qilinadi.1978 yilda paydo bo'lgan Data Mining kontseptsiyasi 90-yillarning birinchi yarmidan beri zamonaviy talqinda katta shuhrat qozondi. Shu vaqtgacha amaliy statistika doirasida ma'lumotlarni qayta ishlash va tahlil qilish amalga oshirildi, asosan kichik ma'lumotlar bazalarini qayta ishlash vazifalari hal qilindi. Data Mining kata hajmdagi ma’lumotlarni saralash va ularni tahlil qilish imkoniyatini yaratib berdi.

Ma'lumotlar konstruktsiyasi amaliy statistika, qonuniyatlarnini aniqlash, sun'iy intellekt, ma'lumotlar bazasi nazariyasi va boshqalar kabi fanlar asosida vujudga kelgan va rivojlanayotgan ko'p tarmoqli sohadir. Data Mining bu ma'lumotlarning yashirin qonuniyatlarini (ma'lumotlarni) qidirish asosida qarorlarni qo'llab-quvvatlash jarayoni.


Mashinani o'rganish

MB nazaryasi

Statistikasi





Sun’iy aql

Algoritmlash

Data Mining





Qonuniyatni aniqlash

Vizualizatsiya

Ma'lumotlar ishlab chiqarishning fanlararo aloqasi

Ma'lumotlar qazib olishni noaniq, ob'ektiv va amaliy qonuniyatlar uchun katta hajmdagi ma'lumotlarni qidirishga mo'ljallangan texnologiya sifatida tavsiflash mumkin:

- noaniq, chunki topilgan naqshlar ma'lumotlarga ishlov berishning standart usullari yoki mutaxassislar tomonidan aniqlanmaganligi sababli;

- ob'ektiv, chunki kashf etilgan naqshlar har doim sub'ektiv bo'lgan ekspertlarning fikridan farqli o'laroq, haqiqatga to'liq mos keladi;

- amaliy jihatdan foydalidir, chunki xulosalar amaliy ahamiyatga ega bo'lishi mumkin bo'lgan muhim ahamiyatga ega.

Data Mining va ma'lumotlarni tahlil qilishning boshqa usullari o'rtasida bir qator muhim farqlar mavjud. Ma'lumotni tahlil qilishning an'anaviy usullari (statistik usullar) va OLAP asosan oldindan tuzilgan gipotezalarni sinashga (ma'lumotlar yordamida tekshirish) va har qanday "operatsion analitik ma'lumotlarga ishlov berishning asosini tashkil etadigan (OnLine Analitik ishlash, OLAP), shu bilan birga Data Mining-ning asosiy qoidalaridan biri noaniq qoliplarni qidirishdir.

Ma'lumotlardagi o'zaro munosabatlarni aniqlashning ko'pgina statistik usullari mavjud bo'lmagan qiymatlar bo'yicha operatsiyalarga olib keladigan namuna bo'yicha o'rtacha tushunchani ishlatadi, Data Mining real qiymatlar asosida ishlaydi. OLAP retrospektiv ma'lumotlarni tushunish uchun ko'proq mos keladi. Data Mining kelajak haqidagi savollarga javob berish uchun retrospektiv ma'lumotlarga tayanadi.Harakatlarning o'rtacha darajasi - bu ma'lumotlarning darajasi, bunda

Data Mining xatti-harakatlari amalga oshiriladi (bashoratli modellashtirish, havolalarni tahlil qilish, ma'lumotlarni segmentatsiyalash va boshqalar).

Data Mining-ga qanday vazifalar berilishi kerakligi haqida hech qanday kelishuv yo'q. Vazifalar ishlab chiqarilgan ma'lumot turiga qarab taqsimlanadi, bu Data Mining vazifalarining eng umumiy tasnifi:

- tasniflash, - klasterlash, - bashorat qilish, - birlashma, - vizualizatsiya.

Tasniflash muammosini yechish natijasida o'rganilayotgan sinflar ma'lumotlari ob'ektlari guruhlarini tavsiflovchi belgilar topildi. Ushbu belgilar bilan yangi ob'ekt u yoki bu sinfga tegishli bo'lishi mumkin. Tasniflash muammosini hal qilish uchun quyidagi usullardan foydalanish mumkin: Yaqin qo'shnilar; k-eng yaqin qo'shni (k-eng yaqin qo'shni). Bayesian Tarmoqlari qaror daraxtlarini tanishtirish; neyron tarmoqlari (neyron tarmoqlari).

Klasterlash bu tasniflash g'oyasining mantiqiy davomidir. Bu vazifa yanada murakkab, klasterlashning o'ziga xos xususiyati shundaki, ob'ektlar sinflari oldindan aniqlanmagan. Klasterlash natijasi ob'ektlarni guruhlarga bo'lishdir.

Prognozlash muammosini tarixiy ma'lumotlar asosida hal qilish natijasida maqsadli raqamli ko'rsatkichlarning yetishmayotgan yoki kelajakdagi qiymatlari baholanadi. Bunday muammolarni hal qilish uchun matematik statistika usullari, neyron tarmoqlari va boshqalar keng qo'llaniladi.

Assotsiativ qoidalarni izlash muammosini hal qilish jarayonida ma'lumotlar to'plamidagi bog'liq hodisalar o'rtasidagi qonuniyatlar topiladi. Oldingi ma'lumot konstruktsiyalarining birlashmasidan farqi shundaki, naqshlarni qidirish tahlil qilinayotgan ob'ektning xususiyatlariga emas, balki bir vaqtning o'zida sodir bo'ladigan bir nechta hodisalar orasida.

Vizualizatsiya natijasida tahlil qilingan ma'lumotlarning grafik tasviri yaratiladi. Vizualizatsiya muammosini hal qilish uchun ma'lumotlarda naqsh mavjudligini ko'rsatadigan grafik usullar qo'llaniladi. Vizualizatsiya texnikasiga misol sifatida 2-D va 3-D o'lchovlarda ma'lumotlarni taqdim etish mumkin.

Ma'lumotlar konstruktsiyasining vazifalari, ishlatilgan modellarga qarab, tavsiflovchi va bashoratli bo'lishi mumkin.

Ushbu tasnifga muvofiq, Data Mining vazifalari tavsiflovchi va bashoratli vazifalar guruhlari tomonidan taqdim etiladi. Ta'rif muammolarini hal qilish natijasida tahlilchi talqin qilinishi mumkin bo'lgan ma'lumotlarni tavsiflovchi shablonlarni oladi. Ushbu vazifalar tahlil qilinayotgan ma'lumotlarning umumiy tushunchasini tavsiflaydi, ma'lumotlarning informatsion, yakuniy, farqlovchi xususiyatlarini aniqlaydi. Ta'rif vazifalari tushunchasi ma'lumotlar to'plamini tavsiflash va taqqoslashni o'z ichiga oladi. Ma'lumotlar to'plamining xarakteristikasi ma'lumotlar to'plamining qisqacha va qisqacha tavsifini beradi. Taqqoslash ikki yoki undan ortiq ma'lumotlar to'plamining qiyosiy tavsifini beradi. Bashoratli vazifalar ma'lumotlarni tahlil qilish, modellarni yaratish, yangi yoki noma'lum ma'lumotlarning tendentsiyalari yoki xususiyatlarini bashorat qilishga asoslangan.

Xulosa qilib aytganda intelektual tahlil jarayoni ma’lumotlar bazasidagi ma’lumotlarni saralash, tartiblash hamda ulardan foydalanishning eng samarali usuli sifatida foydalanuvchiga maksimal darajadagi aniqlikni va minimal darajadagi vaqt sarifini taminlab beradi.