Sun'iy neyron tarmoq modeli

Anil K. Jeyn ([e-mail]) - Michigan universiteti; Jianchang Mao, K M. Moiuddin - Almadenadagi IBM tadqiqot markazi.
Anil K., Jain, Jianchang Mao, K.M. Mohiiddin. Sun'iy neyron tarmoqlar: o'quv qo'llanma,IEEEKompyuter, 29-jild, №3, mart/1996, bet. 31-44.IEEE Kompyuter Jamiyati. Barcha huquqlar himoyalangan. Ruxsat bilan qayta chop etilgan.

1.2 Neyron tarmoqlarning qo'llanilishi

Sun'iy neyron tarmoqlar hozirgi vaqtda turli xil muammolarni hal qilishda keng qo'llaniladi va an'anaviy algoritmik echimlar samarasiz yoki hatto imkonsiz bo'lgan joylarda faol qo'llaniladi. Sun'iy neyron tarmoqlari ishonchli tarzda hal qiladigan vazifalar qatoriga quyidagilar kiradi: matnni aniqlash, xavfsizlik va video kuzatuv tizimlari, tasvirni aniqlash jarayonlarini avtomatlashtirish, adaptiv boshqaruv, funktsiyalarni yaqinlashtirish, prognozlash - va bu hammasi emas. Neyron tarmoqlar yordamida siz optik yoki audio signallarni tanib olishni amalga oshirishingiz mumkin. ANNning apparatli tatbiq etilishi identifikatsiya va boshqarish muammolarini hal qilish uchun juda mos keladi, chunki ular parallel tuzilish tufayli operatsiyalarning juda yuqori tezligini ta'minlaydi.
Ta'riflangan xususiyatlar, asosan, orqaga tarqalish algoritmi tomonidan o'qitilgan qatlamli neyron tarmoqlari va kaskad korrelyatsiya algoritmi variantlari asosida o'sib borayotgan neyron tarmoqlar bilan bog'liq. Ammo neyron tarmoqlarning boshqa sinflari mavjud - assotsiativ xotira uchun neyron tarmoqlar, ma'lumotlarni kvantlash uchun neyron tarmoqlar, asosiy mustaqil komponentlarni qurish orqali ma'lumotlarni siqish, signallar aralashmasini ajratish uchun neyron tarmoqlar va boshqalar. Ya'ni. neyron tarmoqlar tomonidan hal qilinadigan vazifalar doirasi juda va juda keng, chunki neyron tarmoq algoritmlari to'plamining o'zi ham kengdir.
1.3 Neyron tarmoqlarning tasnifi
Asboblarni tashkil qilishning juda universal usullari va turli xil apparat va dasturiy ta'minot bazalarida neyron tarmoqlardan foydalanishning haqiqiy jarayoni mavjud. Siz har doim ma'lum bir vazifa uchun eng maqbulini tanlashingiz mumkin - hamma narsa vazifaning xususiyatlari va yechim talablari bilan belgilanadi.
Biroq, neyron tarmoqlardan foydalanish bir qator sabablarga ko'ra murakkablashadi. Har xil turdagi vazifalar uchun mos bo'lgan yagona universal ANNni ishlab chiqish mumkin emas. Neyron tarmoqlar ikkita versiyada qo'llaniladi:
1) Ma'lum bir toifadagi muammolarni hal qiladigan neyron tarmog'i qurilmoqda,
2) Vazifaning har bir misoli uchun ma'lum bir neyron tarmog'i quriladi, bu vazifaning kvazi-optimal yechimini topadi.
Neyron tarmoqlarning bir necha turlari mavjud. Ularning tasnifi 1.1-rasmda keltirilgan
Shakl 1.1 INS tasnifi

To'g'ridan-to'g'ri ta'sir qiluvchi tarmoqlarning eng keng tarqalgan oilasi ko'p qatlamli perseptronlar bo'lib, ularda neyronlar qatlamlarga joylashtirilgan va tarmoqning kirishidan chiqishigacha bo'lgan bir yo'nalishli ulanishlar bilan bog'langan. To'g'ridan-to'g'ri harakat tarmoqlari ma'lum bir kirish uchun tarmoqning oldingi holatiga bog'liq bo'lmagan bitta chiqish qiymatlari to'plamini ishlab chiqaradigan ma'noda statikdir.

Takroriy tarmoqlar dinamikdir, chunki teskari aloqa tufayli ulardagi neyronlarning kirishlari o'zgartiriladi, bu esa tarmoq holatining o'zgarishiga olib keladi. Takrorlanuvchi tarmoqlarning xatti-harakati odatda birinchi tartibli differensial yoki farqli tenglamalar bilan tavsiflanadi. Bu neyron tarmoqlar ko'lamini va ularni qanday o'qitishni sezilarli darajada kengaytiradi. Tarmoq shunday tashkil etilganki, har bir neyron boshqa neyronlardan, ehtimol o'zidan ham, atrof-muhitdan ham ma'lumot oladi.
Neyron tarmoqlarni amalga oshirishda ikkita asosiy yondashuv mavjud: raqamli va analog. Analog ilovalarning afzalligi: yuqori tezlik, ishonchlilik va tejamkorlik. Biroq, o'qitilgan analog neyrochiplardan ommaviy foydalanish doirasi juda tor. Bu yuqori samarali o'rganish algoritmlarini apparatli amalga oshirishning katta murakkabligi va moslashish jarayonini optimal tashkil etish uchun potentsial foydalanuvchilarni maxsus o'qitish zarurati bilan bog'liq. Shu bilan birga, ulanishlarning qattiq yoki biroz sozlanishi tuzilmasi bo'lgan o'qitilgan analog neyrokompyuterlar (neyron tarmoqlari) - neyroprotsessorlar keng qo'llanilishi mumkin.
Neyroprotsessorlarni yaratish vazifasi raqamli neyron tarmoq modelini an'anaviy raqamli kompyuterda kerakli xatti-harakatlarni o'rgatishdan iborat.
Tarmoqlarni qatlamlar soniga qarab ham tasniflash mumkin. Bunda faollashtirish funksiyasining chiziqli bo'lmasligi muhim rol o'ynaydi, chunki agar u bu xususiyatga ega bo'lmaganida yoki har bir neyronning ishlash algoritmiga kiritilmagan bo'lsa, har qanday n-qatlamli neyron tarmog'ining ishlashi natijasi bo'lar edi. kirish signali vektorini ph og'irlik koeffitsientlari matritsasi bilan ko'paytirishga keltiriladi. Ya'ni, aslida, bunday neyron tarmoq bir qatlamli neyron tarmoqqa teng bo'lib, bir qatlamli W ning og'irlik matritsasi bilan tengdir. Bundan tashqari, nochiziqlilik ba'zan sinaptik ulanishlarga kiritiladi.
1.4 Neyron tarmoqning tuzilishi va ishlash tamoyillari
Neyron modeli sifatida ikkilik chegara elementi tanlandi, u kirish signallarining vaznli yig'indisini hisoblab chiqadi va agar bu yig'indi ma'lum chegara qiymatidan oshsa, chiqishda 1, aks holda 0 kattalikdagi signal hosil qiladi. Bugungi kunga qadar ushbu model katta o'zgarishlarga duch kelmadi. Faollashtirish funksiyalarining yangi turlari joriy etildi. Texnik neyronning strukturaviy modeli 1.3-rasmda ko'rsatilgan

1.3-rasm Sun'iy neyronning rasmiy modeli
Sun'iy neyronning kirishi ma'lum bir signal to'plamini oladi, ularning har biri boshqa neyronning chiqishi yoki neyron tarmoq modelining kirish signalidir. Har bir kirish biologik neyronning sinaptik kuchiga o'xshash mos keladigan og'irlik bilan ko'paytiriladi. Og'irlik neyronning tegishli kirishi uning holatiga qanchalik ta'sir qilishini aniqlaydi. Barcha mahsulotlar umumlashtirilib, neyronlarning faollashuv darajasini aniqlaydi. Neyronning holati formula bilan aniqlanadi.
bu erda ph - neyronning kirishiga keladigan signallar to'plami,
w i - neyronning og'irlik koeffitsientlari.
, (1.2)
bu erda n - kirish vektorining o'lchami,
w 0 - tarmoqni ishga tushirish uchun kiritilgan "neyron tarafkashlik", - o'zgarmagan +1 kirishiga ulangan,
F - neyronning faollashuv funktsiyasi.
Neyronlarni turli yo'llar bilan tarmoq tuzilishiga guruhlash mumkin. Neyronlarning funksional xususiyatlari va ularning tarmoq tuzilishiga birlashishi neyron tarmoq xususiyatlarini belgilaydi. Identifikatsiya va boshqarish muammolarini hal qilish uchun to'g'ridan-to'g'ri ta'sir qiluvchi ko'p qatlamli neyron tarmoqlar (MNS) yoki ko'p qatlamli perseptronlar eng mos keladi. MNSni loyihalashda neyronlar qatlamlarga birlashtiriladi, ularning har biri oldingi qatlamdan kelgan signallar vektorini qayta ishlaydi. Minimal amalga oshirish kirish (distributiv), oraliq (yashirin) va chiqish qatlamidan iborat ikki qatlamli neyron tarmoqdir.


1.4-rasm Ikki qavatli neyron tarmoqning struktura diagrammasi.
To'g'ridan-to'g'ri harakatning ikki qatlamli neyron tarmog'i modelini amalga oshirish quyidagi matematik ko'rinishga ega:
, (1.7)
bu erda n ph - neyron tarmoqning kirish vektorining ph o'lchami;
n h - yashirin qatlamdagi neyronlar soni;
th - neyron tarmog'ining sozlanishi parametrlari vektori, shu jumladan og'irlik koeffitsientlari va neyron moyilliklari (w ji , W ij)
f j (x) - yashirin qatlamdagi neyronlarning faollashuv funksiyasi;
F i (x) - chiqish qatlami neyronlarini faollashtirish funktsiyasi.
Perseptron - bu rasmiy neyronlarning bir necha ketma-ket bog'langan qatlamlaridan tashkil topgan tarmoq (1.3-rasm). Ierarxiyaning eng quyi darajasida sensor elementlaridan tashkil topgan kirish qatlami mavjud bo'lib, uning vazifasi faqat kirish ma'lumotlarini tarmoq orqali qabul qilish va tarqatishdir. Keyin bir yoki kamdan-kam hollarda bir nechta yashirin qatlamlar mavjud. Yashirin qatlamdagi har bir neyron oldingi qatlam neyronlarining chiqishlariga yoki to'g'ridan-to'g'ri kirish datchiklariga ulangan bir nechta kirishlarga ega ph 1 ..ph n , va bitta chiqish. Neyron sozlanishi parametrlarning th noyob vektori bilan tavsiflanadi. Neyronning vazifasi uning kirishlarining vaznli yig'indisini hisoblash va keyin uni chiziqli bo'lmagan holda chiqish signaliga aylantirishdir:




Ekspert tizimlari (A. Baturo), shuningdek, prof. A.N. Neyron tarmoqlarda hunchback. Ilova 1. Diplom himoyasi uchun plakatlar. NEYR TARMOQLARDAN BILIMLARNI CHIPLASH TEXNOLOGIYASI: ¨ APPROBATSION, ¨ DASTURIY TA'MINOT DIZAYNI, ¨ PSIXOLINGVISTIKADAN FOYDALANISH ISHNING MAQSADI ¨ egiluvchan ajratib olish texnologiyasini aprobatsiya qilish...

Natijani tanqidiy bo'lmagan ekstrapolyatsiya qilish uchun MT uning zaifligi hisoblanadi. RBF tarmoqlari "o'lchovlilik la'nati" ga ko'proq sezgir va kirishlar soni ko'p bo'lganda sezilarli qiyinchiliklarga duch keladi. 5. KO'CHMAS MULK XARAJATLARINI BASHORLASH UCHUN NEYR TARMOQLARINI MODELLASH 5.1 Ko'chmas mulkni baholash muammosida neyron tarmoqlarni prognozlashning xususiyatlari Neyron tarmoqlardan foydalanish ... bo'lishi mumkin.
Ularning tendentsiyalarini tahlil qiling va kelajakdagi vaziyatni taxmin qiling. Qimmatli qog'ozlar bozorining barcha ishtirokchilari o'z faoliyatini faqat puxta tahlil qilingandan keyingina rejalashtiradilar. Qimmatli qog'ozlar bozori rivojlanishini prognozlashning statistik usullari fond indekslarini qurish, dispersiya, variatsiya, kovariatsiya, ekstrapolyatsiya va interpolyatsiyani hisoblashga asoslangan. Birja indekslari barcha mamlakatlarda eng ommabop hisoblanadi...


2006 yil 20 may holatiga ko'ra (Platan narxlari ro'yxati) - 2654 rubl. ILOVA D Tashkiliy-iqtisodiy qismni amalga oshirish uchun dastlabki ma'lumotlar Yakuniy malakaviy ish mavzusi: So'rg'ichli nasos qurilmasini diagnostika qilish va boshqarish uchun neyron tarmoq tizimi. Bitiruv oldi amaliyoti joyi: UGATU Analog narxi: 40 000 rubl. Narxi: 35 000 rubl. Talab hajmi: 1 dona Bo'shatish...
Neyron tarmoqlar bionik neyron tarmoqlarining ishlash tamoyillari asosida qurilgan matematik modeldir. Ushbu hodisa bilan tanishishni kompyuter modeli sifatida ushbu tizimning birinchi timsoli sifatida ko'p qatlamli perseptron tushunchasidan boshlash kerak.
Qisqacha ko'p qatlamli perseptron nima
Ko'p qatlamli perseptron ierarxik hisoblash modeli bo'lib, unda kalkulyator ko'p kirish va bitta chiqishga ega bo'lgan oddiy tugunlarning neyronlari to'plamidan qurilgan. Har bir kirish (sinaps) u bilan bog'liq vaznga ega.
Tizimning kirishlari neyronlararo aloqalar orqali tarqaladigan qiymatlar bilan ta'minlanadi. Haqiqiy sonlar bo'lgan bu qiymatlar bog'lanish og'irliklari bilan ko'paytiriladi.
Perseptronning ishlash printsipining mantiqiy diagrammasi turli xil ranglar va ular orasidagi munosabatlarga ega grafik chizma yordamida eng oson ifodalanadi:
Neyron tarmoqlardan foydalanish
Bu usul turli maqsadlarda qo'llaniladi. Misol uchun, agar siz fond birjasida qimmatli qog'ozlar kotirovkalarini kiritish sifatida taqdim qilsangiz, natijada olingan natija kelajakda qimmatli qog'ozning narxi tushishi yoki narxi oshishi haqida signal sifatida talqin qilinishi mumkin.
Kelajakda neyron tarmoqlardan foydalanishning yana bir misoli global va moliyaviy tanazzullarni aniqroq bashorat qilishdir.
Agar kirish, masalan, rastr nuqtalari to'plamining yorqinligi qiymati berilgan bo'lsa, chiqishda siz rasm nima ekanligi haqida qaror qabul qilishingiz mumkin.
Ushbu sxemaga ko'ra, neyron tarmoqlar mashhur rassomlarning, jumladan Van Gogning rasmlariga taqlid qilishni, shuningdek, turli xil badiiy uslublarda noyob tasvirlarni chizishni o'rgandilar.
Neyron tarmoqlarni rivojlantirishdagi bunday muhim yutuq uchun atama Google tomonidan taklif qilingan inceptionizm - sun'iy intellekt tomonidan yaratilgan va eng yaxshi an'analarda ekstremal psixikalik bilan ajralib turadigan rasm.
Albatta, tizim to'g'ri javoblarni berishi uchun uni nozik sozlash kerak. Dastlab, ishlash printsipi tasodifiy o'zgaruvchilarning tasodifiy tanloviga asoslangan edi. Shuning uchun algoritmning mohiyati tizimni eng to'g'ri javoblarga moslashtirishdan iborat.
Shu maqsadda neyron tarmoq strukturasi xatolarni minimallashtirish imkonini beruvchi vaznni tuzatish algoritmi bilan to'ldirildi. Bu ko'plab tijorat mahsulotlari bilan ko'p marta hujjatlashtirilgan juda foydali narsa.
Biroq, paradoksal tarzda, tizim hali ham inson miyasiga o'xshab qolmadi. Ma'lum bo'ldiki, birja prognozidan jiddiyroq muammolarni hal qilish uchun, masalan, multimodal ma'lumotlarga ega murakkab robot boshqaruv tizimi uchun neyron tarmoq katta bo'lishi kerak, an'anaviy neyron tarmoqlar esa bunday qilish qiyin.
Gap shundaki, miya 10 milliard neyrondan iborat bo'lib, ularning har birida 10 000 ta ulanish mavjud. Bu millionlab yillar davomida yaratilgan juda energiya tejamkor va shovqinga chidamli tizim. Farqi nimada?
Miya va neyron tarmoqlarning ishlash printsipidagi farqlar
Bu bizning biologik neyronlar va perseptron tarmog'ining signal uzatishning turli printsiplari haqida. Ko'p qatlamli perseptronda neyronlar bir-biri bilan haqiqiy sonlar bo'lgan qiymatlarni almashadilar. Va miyada qat'iy belgilangan amplituda va qisqa muddatli impulslar almashinuvi mavjud. Ya'ni, impulslar deyarli bir zumda bo'ladi.
Bundan ko'plab afzalliklar va imtiyozlar kelib chiqadi. Birinchidan, bunday signal liniyalari juda tejamkor va faol emas - neyronlar orasidagi aloqalar orqali deyarli hech narsa tarqalmaydi. Perseptronda har bir signal chizig'i haqiqatan ham muhim qiymatga ega bo'lishi kerak.
Ikkinchidan, impuls signalini uzatish sxemasi energiya samaradorligi bilan bir qatorda amalga oshirish qulayligini ham ta'minlaydi, chunki impulslarni yaratish va qayta ishlash haqiqiy qiymatlarni uzatishni qo'llab-quvvatlaydigan murakkab mexanizmlardan farqli o'laroq, eng oddiy analog sxemalar yordamida amalga oshirilishi mumkin.
Uchinchidan, impulsli (spike) tarmoqlar shovqinlardan himoyalangan. Bizda sozlangan impuls bor, unga shovqin kiritish tizimning ishlashiga xalaqit bermaydi. Haqiqiy raqamlarga esa shovqin ta'sir qiladi.
Va, albatta, agar analog uzatish emas, balki raqamli bilan raqamli simulyatsiya haqida gapiradigan bo'lsak, unda 1 bayt ma'lumotni kodlash uchun bitta o'rniga 8 ta signal liniyasi kerak.
Ya'ni, bunday tizimlarning raqamli amalga oshirilishi ham variant emas. Hatto ko'p qatlamli routerlarni o'rnatish ham muammoni hal qilmaydi, chunki neyron tarmoq sekinlashadi va samarasiz bo'lishda davom etadi.
Shu sababli, keng ko'lamli neyron tarmoqlarni yaratish uchun bionik yondashuvdan foydalanish kerak, ya'ni miya tasviri va o'xshashligida tizim yaratishga harakat qilish kerakligi aniq.