Ko’p qatlamli neyron tarmoqlari reja

Sun'iy neyron tarmoqlarni qo'llash:Bugungi kunda foydalanuvchilar orasida mashhur bo'lgan modellar asosan oldinga bog'langan (ya'ni, ularda hech qanday aloqa sxemalari mavjud emas, 3-jadvalga qarang). Bu, asosan, qayta aloqa tarmoqlarining xatti-harakatlarini matematik jihatdan tahlil qilish ancha qiyin va amalda ham osonlik bilan oldindan aytib bo'lmaydiganligi bilan bog'liq. Amaliy ilovalar, birinchi navbatda, optimallashtirish uchun stokastik qayta aloqa tarmoqlaridan foydalanishda (Boltzmann mashinasi, Xopfild tarmog'i ). & # 8211 Ehtimol, eng mashhur ANN, oddiy Perseptron, kirish vektorli ikkilik neyronlarning bir qatlamli tarmog'idir x, birlashtiruvchi matritsa c va chiqish vektori a. Ko'p qatlamli perseptronlarda esa, bugungi kunda qatlamlarning boshqa raqamlanishi ustunlik qildi: kirishlar neyronlarning birinchi qatlami bilan ifodalanadi va oddiy perseptron kirish va chiqish qatlami bo'lgan ikki qavatli deb ataladi. Birinchi haqiqiy ko'p qatlamli perseptron uchta qatlamga ega bo'lib, ular kirish, chiqish va ular orasida joylashgan. yashirin (E. yashirin) qatlam (2-rasmga qarang). Oddiy perseptron allaqachon Rosenblatt va keyin Minsky va Papert (1969) tomonidan keng ko'lamda o'rganilgan. Assotsiativ xotiralar, odatda, bir oz boshqacha o'rganish qoidalariga ega bo'lgan ikkilik neyronlarning bir qatlamli tarmoqlaridir. Assotsiativ xotiralarning xotira hajmini optimallashtirishda siyrak naqshlarga (bir nechta va asosan nolga ega) ustunlik berish kerakligi ma'lum bo'ldi. Bu erda farqlanadi To'g'ridan-to'g'ri assotsiatsiya va Avtomatik assotsiatsiya. Kirish vektori chiqish vektoriga mos keladigan avtomatik assotsiatsiya (avto-assotsiativ tarmoq) bo'lsa, ko'pincha orqaga ulangan tarmoqlar (masalan, chiqish vektori iterativ ravishda yaxshilangan Hopfild tarmoqlari) ko'rib chiqiladi. & # 8211 Ba'zi usullarni faqat kengroq ma'noda ANN sifatida ko'rish mumkin, chunki ular har bir neyronda ichki mahsulotga ega emas.
Bu holat radial asos funktsiyalari (Qisqa. RBF), Kohonen kartalari, bog'liq Vektor kvantlashni o'rganish (Qisqa. LVQ) va adaptiv k- klasterlash vositalari (aglomeratsiya klasterini tahlil qilish usuli). Juda mashhur Kohonen kartalari yoki o'z-o'zini tartibga soluvchi kartalar bilan, shuningdek, vaqtga bog'liq o'rganish tezligi l (t) va vaqtga bog'liq bo'lishi mumkin bo'lgan mahalla bilan N(j,,j*) g'olib neyron j*, bu ham o'rganish uchun ishlatiladi. & # 8211 da Boltsman mashinasi Bu statistik mexanika modellari tomonidan motivatsiya qilingan biroz murakkab va hisoblash jihatidan qimmat o'quv jarayoniga ega bo'lgan orqa bog'langan stokastik tarmoq. Bu erda muhim parametr "teskari harorat" βFermi funktsiyasining qiyaligini aniqlaydigan (yuqoriga qarang) va simulyatsiya paytida tizimli ravishda o'zgartirilishi kerak (simulyatsiya qilingan tavlanish). Orqaga tarqalish xato signallari paydo bo'ladigan ko'p qatlamli tarmoqlar (differensial uzatish funktsiyasiga ega neyronlar) uchun o'rganish usulidir. δ_i birinchi navbatda chiqish qatlami uchun hisoblash kerak δ_j = (T_j – a_j) va keyin asta-sekin birlashtiruvchi matritsalar orqali qatlamdan qatlamga uning oldidagi qatlamlarga qayta tarqaladi (xatoni qayta tiklash usuli). & # 8211 ANNning amaliy qo'llanilishida ko'pincha muammo yuzaga keladi Arxitektura muammosi ifodalashi mumkin. Bu, asosan, ANNni belgilaydigan va o'quv jarayoni tomonidan moslashtirilmagan parametrlarni optimal tanlashdan iborat. Masalan, ko'p qatlamli perseptronlardan foydalanganda (orqaga tarqaladigan o'rganish jarayonlari bilan) har bir qatlamda qancha qatlam va qancha neyron ishlatilishini hal qilish kerak, ya'ni, umuman olganda, tarmoqning ma'lum bir arxitekturasi haqida qaror qabul qilish kerak. ulanish. O'quv jarayoni ko'plab iterativ bosqichlarni talab qilganligi sababli, turli arxitekturalarni sinab ko'rish juda ko'p vaqt talab etadi.
the Sun'iy neyron tarmoqlar nazariyasi 1950-yillarda avtomatlar nazariyasi bilan birgalikda boshlangan va 1970-yillardagi pauzadan so'ng, yaqinda yana oldinga surildi. Eng muhim natijalar bu erda qisqacha umumlashtiriladi:
- ANN chekli avtomatlar kabi hisoblash qobiliyatiga ega.
- R & # 252 teskari aloqa ANN nosimmetrik ulanishlar (c_ij = c_ji) barqaror sobit nuqtalarga ega va uzoq tsikllarga ega emas (maksimal uzunlik 2). Dinamik rivojlanish minimal energiya yo'nalishida harakat qiladi H. Funktsiya H faoliyat vektori a = (a₁. a_n) mohiyatan sifatida belgilanadi

.
- Oddiy ikki qavatli perseptronning farqni o'rganish qoidasi cheklangan miqdordagi qadamlardan so'ng yaqinlashadi.

- Uch qavatli perseptron har bir uzluksiz funktsiyani (yashirin qatlamda yetarlicha neyronlar bilan) taxminan hisoblashi mumkin.
- Uch qavatli perseptronda "o'rganish" orqali berilgan funktsiyaga eng yaxshi yaqinlikni topishning optimallash muammosi qiyin.
Arxitektura muammosi, ya'ni ma'lum bir ko'p qatlamli perseptron (asosan qattiq arxitekturaga ega) berilgan funktsiyani to'g'ri (yoki hech bo'lmaganda taxminan to'g'ri) ifodalay oladimi degan savol ham qiyin.