Intelektual qayta tizimlarda neyro-noaniq ko’p o’lchamli sistemali ma’lumotlarni qayta ishlash va tahlil qilish

INTELEKTUAL QAYTA TIZIMLARDA NEYRO-NOANIQ KO’P O’LCHAMLI SISTEMALI MA’LUMOTLARNI QAYTA ISHLASH VA TAHLIL QILISH

KIRISH

Hozirgi vaqtda intelektual avtomatik malumotlarni tahlil qilish kompyuter texnologiyalari
gullab-yashnamoqda. Bu, asosan, sun'iy intellekt, statistika va ma'lumotlar bazasi nazariyasi chorrahasida shakllangan va Data Mining (ma'lumotlarda bilimlarni ochish) deb ataladigan informatika sohasidan keladigan yangi g'oyalar oqimi bilan bog'liq. Ushbu atama bugungi kunda "xom" ma'lumotlardan mavzu bo'yicha yangi, potentsial foydali ma'lumotlarni olish jarayonini bildiradi. 1978 yilda paydo bo'lgan "Data Mining" atamasi muvaffaqiyatli bo'ldi va 90-yillarning oxirida yuqori mashhurlikka erishdi. Hozirgi bosqichda sun'iy neyron tarmoqlar va noaniq ko'p operatsiyalar kabi ma'lumotlarni yig'ish usullarining kombinatsiyasi eng katta amaliy qo'llanilishini topadi. Ushbu ma'lumotlarni qidirish vositalari an'anaviy sun'iy neyron tarmoqlarda ma'lumotlarni qayta ishlash usullaridan sezilarli darajada farq qiluvchi va kognitiv ("aqlli") texnologiyalar sohasiga tegishli printsiplar asosida ishlaydigan gibrid hisoblash intellekt tizimlari sinfiga kiradi.
Bunday gibrid neyro-noaniq tizimlar eng kuchli kognitiv potentsialga ega (ma'lumotlardan bilimlarni aniqlash uchun hislar, hislar, naqshlarni aniqlash, o'rganish va yodlash naqshlarini modellashtirish). Ular noaniq to'plamlar va neyron tarmoqlarni sintez qilishning boshqa usullariga qaraganda ancha kengroq qamrovni topadilar. Buning sababi shundaki, bunday tizimlar loyqa tizimlarning (to'plangan bilimlarning sharhlanishi) va neyron tarmoqlarning (ma'lumotlardan o'rganish qobiliyati) "kuchli tomonlari" dan eng to'liq foydalanishga imkon beradi. Bunday tizimlar nafaqat aprior ma'lumotlardan foydalanadi, balki mantiqan "shaffof" bo'lgan yangi bilimlarni ham oladi. Ushbu nashrda mualliflar jahon iqtisodiyoti, davlatning ilmiy va texnologik rivojlanishi, geologik qidiruv, Yerni koinotdan masofadan zondlash, shuningdek, integratsiya kabi bilimlarning yashirin sohalarida qo'llash va tadqiqot natijalarini taqdim etadilar. Intellektual navigatsiyani hisoblash tizimlarida neyro-loyqa usullar va faol avtomobil xavfsizligi. Yevropa Ittifoqi ekspertlarining fikricha, “kognitiv” fanlar (yoki nevrologiya) va “aqlli” tizimlar (aqliy faoliyat bilan bog‘liq keng ko‘lamli muammolar bo‘yicha fanlararo tadqiqotlar) XXI asrda fundamental fan rivojining asosiy muammosi va yo‘nalishi hisoblanadi. Ular axborotni qayta ishlashning murakkab masalalarini samarali hal qilish imkonini beradi, agar ajratiladigan sinflar ixtiyoriy shaklga ega bo'lsa va bir-biri bilan kesishsa, ular noaniqlik sharoitida yuqori aniqlik va samaradorlik, past o'rganish vaqti va shovqinga nisbatan ishonchliligi bilan ajralib turadi.
Kitob mualliflari T.V. xodimlariga minnatdorchilik bildiradilar. Abramov, E.V. Vaganov va M.V. 2 va 3-boblarni tayyorlashda ishtirok etgan Syryamkin.

MODELLASHTIRISH HUDDI QIYIN TUZILMALI MALUMOTLARNI TAHLIL QILISH ASOSIDR

Ma'lumotlarni tahlil qilish uchun asos modellashtirish hisoblanadi. Modellarni qurish - bu atrofdagi dunyoni o'rganishning universal usuli. Bu sizga bog'liqliklarni aniqlash, yangi bilimlarni olish, bashorat qilish, boshqarish va boshqa ko'plab muammolarni hal qilish imkonini beradi. Modellar va modellashtirish tizim kabi asosiy tushuncha bilan chambarchas bog'liq.
Tizim tizim nazariyasi va tizim tahlilida markaziy tushunchadir. Tizim deganda, odatda, ma'lum bir kontekstda ma'lum bir yaxlitlikni tashkil etuvchi ixtiyoriy xarakterdagi ob'ektlar, komponentlar yoki elementlar to'plami tushuniladi. Har bir tizim paydo bo'lish printsipiga ega - tizim uning tarkibiy elementlariga ega bo'lmagan yangi xususiyatlarga ega bo'ladi.
Tizimlarning bir necha turlari mavjud: oddiy, kichik, katta, murakkab. Ularning orasidagi farq elementlarning soni va ular orasidagi aloqa turi, shuningdek, resurs va axborot bilan ta'minlanishi (1.1-rasm).
Elementlarning soni



Munosabatlarning tabiati

oddiy	katta
kichik	murakkab

Murakkab tizimni o'rganish eng qiyini hisoblanadi. Bu quyidagi sabablarga bog'liq:

1) Tizimga ta'sir qiluvchi parametrlarni taqsimlash qonuni noma'lum yoki uni olish uchun katta vaqt va moliyaviy resurslarni sarflash kerak.
2) Tizimning ishlashi noaniqlik sharoitida amalga oshiriladi, bu asosan inson va tasodifiy omillar tomonidan kiritiladi.
3) Tizimning o'zgaruvchilari miqdoriy-sifat tavsifiga ega bo'lishi mumkin. Aksariyat iqtisodiy tizimlar murakkab deb tasniflanadi. Tizimning eng keng tarqalgan axborot modeli qora quti modelidir. Tizim ko'plab kirish va chiqish o'zgaruvchilari bo'lgan to'rtburchaklar shaklida taqdim etiladi, uning ichki tuzilishi tadqiqotchidan yashirin va ko'pincha
noma'lum (1.2-rasm).

Atrof muhit kirish o'zgaruvchilari		sistema
			chiqisho'zgaruvchilari

Rasm. 1.2 “Qora quti” modeli

Kirish va chiqish harakatlarini aniqlab, ularni bog'laydigan ma'lumotlar to'plamiga ega bo'lgach, tizimning kirish va chiqishlarini bog'laydigan qonun noma'lum bo'lsa ham, tizim modeli haqida gapirish mumkin. Bunday tizimlarni tizim o'zgaruvchilari orasidagi matematik, iqtisodiy va boshqa bog'liqliklarni bilmasdan o'rganish imkonini beradigan maxsus usullar mavjud.

va hatto bilim olish. Bunday usullar aqlli ma'lumotlarni tahlil qilish usullari toifasiga kiradi. Modelni yaratishdan oldin siz muammodan boshlashingiz kerak. Vazifa tadqiqotchini qiziqtirgan savolga javob sifatida qaralishi mumkin. Masalan, chakana savdoda bu savollar bo'lishi mumkin:
■ Muayyan davr uchun sotuvlar tarkibi qanday? Kompaniyaning savdo hajmini qanday tasniflash mumkin?
■ Qaysi mijozlar eng daromadli?
■ Qanday narsalar birgalikda sotiladi yoki buyurtma qilinadi?
■ Omborlardagi zaxiralar qoldig'ini va hokazolarni qanday optimallashtirish mumkin? Keyin prognozlash modelini yaratish haqida gapirishimiz mumkin
sotish, assotsiatsiyani aniqlash modellari va boshqalar. Bu bosqich muammoni tahlil qilish deb ham ataladi. Keyingi bosqich - bu modelni yaratish uchun zarur bo'lgan barcha mavjud resurslarni (moddiy, moliyaviy, axborot) tizimlashtirish va birlashtirish. Ushbu bosqichda zarur resurslar mavjud bo'lmaganda, natijalarga qo'yiladigan talablarni qisqartirish yoki modelni yaratishdan umuman bosh tortish to'g'risida qaror qabul qilinishi mumkin. Bu erda savol kelajakdagi modelning jarayonga yoki qiziqish tizimiga to'g'riligi haqida savol tug'iladi. Modelni qurish jarayoni iterativ bo'lgani uchun (1.3-rasm), uning davomida u tuzatiladi va takomillashtiriladi, birinchi bosqichlarda modelning yuqori aniqligini talab qilish mantiqiy emas. Modelning adekvatligi haqida gapirish ancha to'g'ri. Dastlabki model qo'pol bo'lishi mumkin, ammo etarli.
Adekvatlik deganda, modelni yaratishda tadqiqotchi yakuniy natijaga ta’sir etuvchi eng muhim, muhim omillarni hisobga olganligini bildiradi. Ta'kidlash joizki, omillar sonining ko'payishi bilan modelning murakkabligi ortadi. Ma'lumotlar tizimlashtirilgandan so'ng, ular mavjud ma'lumotlarni tushuntirib beradigan va qiziqtirgan savollarga empirik asoslangan javoblarga erishishga imkon beradigan modelni izlashga kirishadilar. Tizimlarning juda ko'p tayyor modellari, shu jumladan iqtisodiy modellar mavjud. Ularning aksariyati rasmiy, ya'ni. matematik formulalar, qonunlar, taqsimotlar va boshqalar to'plami sifatida taqdim etiladi. Biroq, amalda ular ko'pincha qo'llanilmaydi va haqiqatga deyarli aloqasi yo'q. Ko'pincha tadqiqotchi muammo bo'yicha aniq taxminlar qilish qiyin bo'lgan vaziyatga duch keladi. Model ma'lum emas va uni qurish uchun yagona ma'lumot manbai "kirish-chiqish" tipidagi eksperimental ma'lumotlar jadvali, ya'ni. "qora quti". Natijada, tahlilchi informatsion xususiyatlarni tanlash, tanlangan modelning sinfi va parametrlari haqida turli xil evristik taxminlardan foydalanishga majbur bo'ladi. Tahlilchining bu taxminlari uning tajribasi, sezgi, tahlil qilinayotgan jarayonning ma'nosini tushunishga asoslanadi. Bu bosqichda bir emas, balki bir nechta original tizimning modellari paydo bo'lishi mantiqan to'g'ri keladi, bu ko'p modellashtirish tamoyilini namoyon qiladi. Bunday holda, hal qilinishi kerak bo'lgan eng adekvat model vazifalaridan biriga e'tibor qaratish yoki o'zaro bog'liq modellar majmuasidan iborat to'liq modelni olish uchun yondashuvlarni birlashtirishga harakat qilish kerak. Taklif etilgan bir nechta modellardan ma'lum bir modelni tanlashda, yana mavzu bo'yicha mutaxassislar yoki ekspertlar so'rovi samarali bo'ladi. Bahsli holatlarda murakkab imtihonlarni o'tkazish usullari, jumladan, reyting, juftlashtirilgan baholash va h.k. kabi algoritmlar asosli qaror qabul qilish uchun yordamga kelishi mumkin.
Misol yordamida modelni qurish bosqichlarini ko'rib chiqing. Keling, chakana savdoning dolzarb muammosini olaylik - sotish hajmini prognozlash. Uni hal qilish uchun sotish prognozi modelini yaratish kerak. Keling, rasmdagi diagrammadan foydalanamiz. 1.3. Birinchi bosqichni amalga oshirish, qoida tariqasida, qiyin emas - davrlar (hafta, oy) uchun zarur savdo ma'lumotlari tashkilotda mavjud bo'lgan buxgalteriya tizimlaridan olinadi. Bu bajarilgan deb taxmin qilinadi
kelajakdagi sotuvlar oldingi davrlardagi sotuvlarga ta'sir qiladi degan taxmin.
Keyingi bosqichda - ma'lumotlarni tizimlashtirish - savollarga javob olish kerak:
Savdo prognozi modelini yaratish uchun etarli ma'lumotlar bormi?
Haqiqat shundaki, oz miqdordagi ma'lumotlar bilan har qanday prognoz ma'nosizdir va hech qanday model sotuvdagi naqshlarni ushlamaydi. Shunday qilib, 1,5 yil davomida savdo tarixining vaqt seriyasi uchun prognoz ko'pi bilan 1 oy davomida amalga oshirilishi kerak; 2-3 yil davomida ma'lumotlar uchun - maksimal 2 oy. Qaysi tovarlar uchun prognoz tuzish kerak?
Muammo shundaki, ba'zida har bir mahsulot nomi uchun savdo prognozini tuzish mantiqiy emas. Qoida tariqasida, bu modellar oralig'ini yangilash darajasi yuqori bo'lgan mahsulotlarga (telefonlar, pleerlar, kompyuter uskunalari va boshqalar) taalluqlidir. Shu bilan bir qatorda, o'xshash iste'mol xususiyatlariga ega bo'lgan tovarlar guruhlari uchun prognozni qurish mumkin. Keyinchalik, siz sotishni prognozlash modelini tanlashingiz kerak, bu holda bu prognozlash usulini tanlashga to'g'ri keladi. Ularning soni juda katta. Masalan, o'rtacha usul, unga ko'ra prognoz bir necha oldingi oylar (davrlar) uchun o'rtacha savdo qiymatlari asosida hisoblanadi. Bunday prognoz modeli oddiy va qo'pol bo'lib chiqadi, chunki u mavsumiylik omilini hisobga olmaydi. Ehtimol, ba'zi tovarlar uchun sotishda mavsumiylik yo'q va model etarli bo'ladi. Boshqa tovarlar uchun bu ishlamaydi va siz mavsumiylikni hisobga oladigan murakkabroq usullarga murojaat qilishingiz kerak bo'ladi, masalan, Holt usuli yoki qo'shimcha ravishda modelga mavsumiylik koeffitsientlarini kiritish, ehtimol aktsiyalarning qoldiqlarini, sonini hisobga olish kerak. bir oy ichida dam olish kunlari va boshqalar. Shunday qilib, birinchidan, universal modellar mavjud emas, ikkinchidan, modelning murakkabligi uning aniqligini kafolatlamaydi. Tadqiqotchining mahorati, bir tomondan, soddalik, shaffoflik va ikkinchi tomondan, natijalarning maqbul sifati o'rtasida murosani topishdadir. Shu bilan birga, mutlaq aniqlikka intilmaslik va birinchi maqbul natijalarga erishilganda modeldan foydalanishni boshlash kerak. Ta'riflangan modelni qurish mexanizmi kuchli va zaif tomonlarga ega. Modellarni qurish usullaridan foydalanish boshqalar tomonidan olinmaydigan yangi bilimlarni olish imkonini beradi.
gim yo'li. Bundan tashqari, olingan natijalar ma'lum bir jarayonning rasmiylashtirilgan tavsifi bo'lib, shuning uchun avtomatik ishlov berishga mos keladi. Kamchilik shundaki, bunday usullar ma'lumotlar sifatiga, ekspert bilimlariga va o'rganilayotgan jarayonni rasmiylashtirishga ko'proq talabchan. Bundan tashqari, deyarli har doim har qanday modelga mos kelmaydigan holatlar mavjud. Yuqoridagilarning barchasini umumlashtirib, biz iqtisodiy jarayonlar modellarini o'z ichiga olgan murakkab tizimlar modellarini qurishning asosiy tamoyillarini ajratib ko'rsatishimiz mumkin:
1. Muammoni hal qilish modelni qurishdan boshlanadi.
2. Tahlil qilishda mutaxassisning tajribasidan boshlang.
3. Muammoni turli tomonlardan ko'rib chiqing va yondashuvlarni birlashtiring.
4. Modelning yuqori aniqligiga intilmang, balki oddiy va qo'polroq modellardan murakkabroq va aniqroq modellarga o'ting.
5. Vaqt o'tishi bilan yangi ma'lumotlar to'planganligi sababli, modellashtirish tsiklini takrorlash kerak - bilish jarayoni cheksizdir.

MALUMOTLARNI INTELEKTUAL TAHLIL QILISH METODLARI

Ma'lumotlarni tahlil qilishning avtomatlashtirilgan usullarini ishlab chiqish uchun zarur shart-sharoitlar


Ma'lumot olishning ikki yo'li mavjud: hujjatli va ekspert. Birinchi holda, ma'lumotlar turli xil axborot manbalarida (kitoblar, hujjatlar, ma'lumotlar bazalari, axborot tizimlari va boshqalar) mavjud. Ekspert usuli bilimlarni shaxs - ekspert yoki fan sohasidagi mutaxassis xotirasidan ajratib olish va tizimlashtirishni o'z ichiga oladi. Ko'pincha ular mutaxassislarning sezgi va tajribasidan foydalanishga qaratilgan usullar deb ataladi.