Ma’lumotlarni intellektual tahlili Data Mining. Ma’lumotlarni intellektual tahlili (mit)

Ma’lumotlarni intellektual tahlili Data Mining.
Ma’lumotlarni intellektual tahlili (MIT) ma’lumotlar massividan bilimlarni ajratib olish bilan bog’liq muammolarni barcha sohasini qamrab oladi. Masalan AX sohasida bu anomal harakatlar va hujumlarni aniqlash uchun tarmoq trafigini tahlili, firibgarlik harakatlari (fraud) va pochta tarqatmalarida xabarlarda SPAM ni aniqlash uchun qo’llaniladi
Odatda MIT Data Mining terminini transformatsiyasi kabi ko’riladi, biroq Data Mining usullari asosan ma’lumotlarni tahlili va intellektual modellashtirishga qaratiladi, MIT esa turli manbalardan ma’lumotlarni ajratib olish, ularni konsolidatsiyasi, profayling, transformatsiyam tozalash va boyitish masalalarini o’z ichiga olgan ma’lumotlardan bilimlarni olish jarayoni bilan bog’liq muammolarni to’liq spektrini qamrab oladi.
MIT ni zamonaviy konsepsiyasi quyidagilarni nazarda tutadi:

• 
  Ma’lumotlar turlicha, noaniq, to’liqmas (bo’shliqlar bo’lishi), zid, bilvosita bo’lishi mumkin;
  
• 
  Ma’lumotlar juda katta hajmli bo’lishi (big data);
  
• 
  Ma’lumotlarni tahlillashni intellektual algoritmi, xususan, umumlashtiruvchi qobiliyatga ega hodisalar asosida o’qitishga qodir algoritmdan foydalaniladi (ya’ni xususiy kuzatuvlar asosida umumiy xulosalar qilishni imkonini beruvchi);
  
• 
  Quruq ma’lumotlarni axborotga, axborotni esa bilimlarga qayta ishlash jarayonlari notrivial avtomatlashtirilishni talab etadi. Ma’lumotlarni intellektual tahlillash vazifasini yechishni quyidagi bosqichlari ajratiladi:
  

1. 
   Predmet soha tahlili, tadqiqot maqsad va vazifalarini shakllantirish.
   
2. 
   Ma’lumotlarni ajratib olish va saqlash.
   
3. 
   Ma’lumotlarni dastlabki qayta ishlovi:
   

• 
  Tozalash – dublikatlarni va qalbaki qiymatlarni olib tashlash, ziddiyatlarni, tasodifiy tashlanmalarni va to’siqlarni qayta ishlash (tekislash, shovqinni pasaytirish), bo’shliqlarni to’ldirish va qayta tiklash;
  
• 
  Konsolidatsiya – bir nechta manbalarda ma;umotlarni bitta omborga birlashtirish, informativlik va sifat kerakli darajalarini ta’minlash, yagona formatga keltirish;
  
• 
  Profayling – ma’lumotlar tuzilmasi to’g’risidagi axborot tahlili (maydon toifasi, uning qiymatlari uzunligi va oralig’i, shablonlar tahlili), berilgan cheklanishlarga mos ma’lumotlar mabai maydonini tekshiruvi hamda berilgan senariyga mos aniqlangan muammolarn tuzatish (masalan, tasavvur formatlari va qiymatli ma’lumotlar yozuv yo’llari tekshiruvi hamda qabul qilingan sintaksisga mos ularni keltirilishi);
  
• 
  Ma’lumotlar optimizatsiyasi – hajmdorlikni qisqarishi (ahamiyatli belgilar tanlovi);
  
• 
  Ma’lumotlarni boyitish – tahlillash aniq vazifasini yechosh nuqtai-nazaridan kiruvchi ma’lumotlar qiymatliligi va ahamiyatliligini oshirish maqsadida mavjud ma’lumotlar (masalan, o’rtacha qiymat yoki matematik kutilmalar hisobi) bilan qo’shimcha harakatlar yordamida olish yoki tashqi manbalardan qo’shimcha ma’lumotlarni jalb qilish;
  
• 
  Aylantirish (transformatsiya) – tasavvurlar va ma’lumotlar formatlari optimizatsiyasi tahlil maqsad va vazifalari nuqtai-nazaridan ma’lumotlarni agregatsiyasini va siqilishini, ularni normallashtirishni (kiruvchi qiymatlarni ba’zi berilgan oraliqqa keltirilishi), atributlar diskretizatsiyasini va shu kabilarni o’z ichiga olishi mumkin.
  

4. 
   Ma’lumotlarni tarkibiy tahlili – umumiy qonuniyatlarni o’rnatish yoki aniqroq, xususiy tahlil masalalarini yechish:
   

• 
  Sinflashtirish – obyektlarni oldindan berilgan sinflarga (guruhlar, toifalar) kiritish;
  
• 
  Belgini uzluksiz qiymatlarini approksimatsiyasi va bashorati – ma’lum ma’lumotlar tahlili asosida chiquvchi belgilarni noma’lum qiymatlarini natijasi sifatida olish;
  
• 
  Klasterizatsiya – o’xshashlik alomatlari bo’yicha obyektlar guruhini ajratish, klasterda obyektlarni umumiy jihatlarini tahlillash va bashoratlash;
  
• 
  Assotsiatsiya (birlashma) tahlili – o’zaro bo’glanishlar yoki korrelyatsion aloqalar qidiruvi;
  
• 
  Ketma-ketliklarni (vaqt bo’yicha bir-biri bilan bog’liq hodisalar) aniqlash, keyingi ehtimoliy hodisani bashoratlash;
  
• 
  Bashoratlash – vaqtinchalik mavjud qatorlarni qidiruvi va kelajakdagi vaqt davrlarida ulardagi qiymatlar dinamikasini bashoratlash.
  

5. 
   Tahlil natijalarini qabul qilish va intrepretatsiya uchun qulay shaklda taqdim etish (vizualizatsiya va foydali shablonlar saralanishi, informativ grafik va jadvallar shakllantirilishi), natijalar interpretatsiyasi.
   
6. 
   Qaror qabul qilish uchun yangi qiymatlardan foydalanish. Bunday tarzda avval ma’lumotlar qayta ishlanadi va tayyorlanadi. Keyin tadqiqot maqsad va vazifalariga mos keladigan algoritmlarni qisqa tarkibi tuziladi. So’ngra bu algoritmlar parametrlari tanlovi va soz;anmasi amalga oshiriladi. Va nihoyat, ulardan eng yaxshilarini tanlash uchun analitik model quriladi. Olingan natijalar tahlil maqsadiga mos keladigan holda interpretatsiyalanadi va maqbul shaklda taqdim qilinadi.