Guruch. 2. Ko'p qatlamli perseptronlar deb ataladigan birinchi darajali tarmoqlarning eng keng tarqalgan oilasida neyronlar qatlamlarda joylashgan va qatlamlar o'rtasida bir yo'nalishli aloqalarga ega. Shaklda. 2 har bir sinfning tipik tarmoqlarini ko'rsatadi. Oldinga uzatish tarmoqlari ma'lum bir kirish uchun tarmoqning oldingi holatiga bog'liq bo'lmagan bitta chiqish qiymatlari to'plamini ishlab chiqaradigan ma'noda statikdir. Takroriy tarmoqlar dinamikdir, chunki teskari aloqa tufayli ulardagi neyronlarning kirishlari o'zgartiriladi, bu esa tarmoq holatining o'zgarishiga olib keladi.
Ta'lim
O'rganish qobiliyati miyaning asosiy xususiyatidir. ANN kontekstida o'quv jarayonini tarmoq arxitekturasini sozlash va muayyan vazifani samarali bajarish uchun og'irliklarni bog'lash sifatida ko'rish mumkin. Odatda, neyron tarmoq ulanishlarning og'irligini mavjud o'quv majmuasiga muvofiq sozlashi kerak. Og'irliklar takroriy sozlanganligi sababli tarmoq unumdorligi yaxshilanadi. Tarmoqning misollardan o'rganish qobiliyati ularni mutaxassislar tomonidan ishlab chiqilgan muayyan ishlash qoidalari tizimiga rioya qiladigan tizimlarga qaraganda jozibador qiladi.
O'quv jarayonini loyihalash uchun, birinchi navbatda, neyron tarmoq ishlaydigan tashqi muhit modeliga ega bo'lish - tarmoqda mavjud bo'lgan ma'lumotlarni bilish kerak. Ushbu model o'rganish paradigmasini belgilaydi. Ikkinchidan, tarmoq og'irliklarini qanday o'zgartirish kerakligini tushunish kerak - sozlash jarayonini qanday o'rganish qoidalari boshqaradi. O'rganish algoritmi og'irliklarni sozlash uchun o'rganish qoidalaridan foydalanadigan protsedurani anglatadi.
Uchta ta'lim paradigmasi mavjud: nazorat ostida, nazoratsiz (o'z-o'zini o'rganish) va aralash. Birinchi holda, neyron tarmoq har bir kiritish misoli uchun to'g'ri javoblarga (tarmoq chiqishi) ega. Og'irliklar tarmoq ma'lum to'g'ri javoblarga imkon qadar yaqin javoblarni ishlab chiqarishi uchun o'rnatiladi. Nazorat ostida o'qitishning takomillashtirilgan versiyasi neyron tarmog'i chiqishining to'g'riligini faqat tanqidiy baholash ma'lum, ammo chiqishning to'g'ri qiymatlari emasligini taxmin qiladi. Nazoratsiz o'rganish o'quv majmuasining har bir misoliga to'g'ri javoblarni bilishni talab qilmaydi. Bunda ma'lumotlarning ichki tuzilishi yoki ma'lumotlar tizimidagi namunalar orasidagi bog'lanishlar ochiladi, bu esa namunalarni turkumlashtirish imkonini beradi. Aralashtirilgan ta'limda og'irliklarning bir qismi nazorat ostida o'rganish orqali aniqlanadi, qolganlari esa o'z-o'zini o'rganish orqali olinadi.
O'rganish nazariyasi misol orqali o'rganish bilan bog'liq uchta asosiy xususiyatni ko'rib chiqadi: sig'im, namuna murakkabligi va hisoblash murakkabligi. Imkoniyat deganda tarmoq qancha namunalarni eslab qolishi va unda qanday funktsiyalar va qarorlar chegaralarini shakllantirish mumkinligi tushuniladi. Namunalarning murakkabligi tarmoqning umumlashtirish qobiliyatiga erishish uchun zarur bo'lgan o'quv misollari sonini aniqlaydi. Juda oz sonli misollar tarmoqni “ortiqcha moslashishiga” olib kelishi mumkin, agar u oʻqitish namunalarida yaxshi ishlaydi, lekin bir xil statistik taqsimotga ega boʻlgan test misollarida yomon ishlaydi. O'rganish qoidalarining 4 ta asosiy turi mavjud: xatolarni tuzatish, Boltsman mashinasi, Hebb qoidasi va raqobatni o'rganish.
Xatolarni tuzatish qoidasi. Nazorat ostidagi ta'limda har bir kiritish misoli uchun kerakli natija d beriladi. Tarmoqning haqiqiy chiqishi y kerakli bo'lmasligi mumkin. O'rganish xatosini tuzatish printsipi xatoni asta-sekin kamaytirish uchun og'irliklarni o'zgartirish uchun signal (d-y) dan foydalanishdir. O'rganish perseptron xato qilgandagina sodir bo'ladi. Ushbu o'rganish algoritmining turli xil modifikatsiyalari ma'lum.
Boltsmann mashg'ulotlari. Axborotning nazariy va termodinamik tamoyillaridan kelib chiqadigan stoxastik o'rganish qoidasini ifodalaydi. Boltsmanning o'rganish maqsadi og'irliklarni ko'rinadigan neyronlarning holatlari kerakli ehtimollik taqsimotini qondirish uchun sozlashdir. Boltzmanni o'rganishni xatolarni tuzatishning maxsus holati sifatida ko'rib chiqish mumkin, bunda xato ikki rejimda holat korrelyatsiyasining farqlanishi sifatida tushuniladi.
Hebb qoidasi. Eng qadimgi ta'lim qoidasi Xebning o'rganish postulatidir. Hebb quyidagi neyrofiziologik kuzatishlarga tayangan: agar sinapsning har ikki tomonidagi neyronlar bir vaqtda va muntazam ravishda yonib ketsa, u holda sinaptik aloqaning kuchi ortadi. Ushbu qoidaning muhim xususiyati shundaki, sinaptik og'irlikning o'zgarishi faqat ma'lum bir sinaps bilan bog'langan neyronlarning faolligiga bog'liq. Bu VLSIni amalga oshirishda o'rganish zanjirlarini sezilarli darajada soddalashtiradi.
Raqobatbardosh o'rganish. Ko'p chiqish neyronlari bir vaqtning o'zida yonishi mumkin bo'lgan Hebbian ta'limidan farqli o'laroq, raqobatbardosh o'rganishda chiqish neyronlari otishni o'rganish uchun bir-biri bilan raqobatlashadi. Bu hodisa g'olib hamma narsani oladi qoidasi sifatida tanilgan. Shunga o'xshash o'rganish biologik neyron tarmoqlarda sodir bo'ladi. Raqobatli ta'lim kirish ma'lumotlarini klasterlash imkonini beradi: bunday misollar korrelyatsiya bo'yicha tarmoq bo'yicha guruhlanadi va bitta element bilan ifodalanadi.
Trening davomida faqat "yutuvchi" neyronning og'irliklari o'zgartiriladi. Ushbu qoidaning ta'siri tarmoqda saqlangan namunani (yutuq neyronining ulanishlari og'irliklari vektori) kiritilgan misolga biroz yaqinroq bo'ladigan tarzda o'zgartirish orqali erishiladi. Shaklda. 3 - raqobatbardosh o'rganishning geometrik tasviri. Kirish vektorlari normallashtiriladi va shar yuzasidagi nuqtalar bilan ifodalanadi. Uch neyron uchun og'irlik vektorlari tasodifiy qiymatlar bilan ishga tushiriladi. Treningdan keyin ularning boshlang'ich va yakuniy qiymatlari rasmda X bilan belgilangan. mos ravishda 3a va 3b. Uchta guruh misollarining har biri og'irlik vektori aniqlangan guruhning og'irlik markaziga sozlangan chiqish neyronlaridan biri tomonidan aniqlanadi.
