1. Ko'p qatlamli uzatish tarmoqlari 2. Ko'p qatlamli perseptron Ko'p qatlamli perseptron 3. O'z-o'zidan tashkil etilgan Kohonen xaritalari
Ko'p qatlamli uzatish tarmoqlari
Standart L-qatlamli oldinga uzatiladigan tarmoq kirish tugunlari qatlamidan (biz u mustaqil qatlam sifatida tarmoqqa kiritilmaganligi haqidagi bayonotga amal qilamiz), (L-1) yashirin qatlamlardan va ulangan chiqish qatlamidan iborat. oldinga yo'nalishdagi ketma-ketlik va qatlam ichidagi elementlar va qatlamlar orasidagi aloqalar o'rtasidagi aloqalarni o'z ichiga olmaydi. Shaklda. 4-rasmda uch qatlamli tarmoqning tuzilishi ko'rsatilgan.
Guruch. 4. Ko'p qatlamli perseptron
Ko'p qatlamli oldinga uzatiladigan tarmoqlarning eng mashhur klassi ko'p qatlamli perseptronlar tomonidan shakllantiriladi, ularda har bir hisoblash elementi chegara yoki sigmasimon faollashtirish funktsiyasidan foydalanadi. Ko'p qatlamli perseptron o'zboshimchalik bilan murakkab qaror chegaralarini hosil qilishi va ixtiyoriy mantiqiy funktsiyalarni amalga oshirishi mumkin. Ko'p qatlamli perseptronda og'irliklarni aniqlash uchun orqaga tarqalish algoritmini ishlab chiqish ushbu tarmoqlarni tadqiqotchilar va neyron tarmoqlar foydalanuvchilari orasida eng mashhuriga aylantirdi. Geometrik talqin yashirin qatlamlar elementlarining rolini tushuntiradi (bo'sag'ani faollashtirish funktsiyasidan foydalaniladi).
RBF tarmoqlari
Radial asosli funktsiyalardan foydalanadigan tarmoqlar (RBF-tarmoqlar) ikki qatlamli oldinga uzatish tarmog'ining alohida holatidir. Yashirin qatlamning har bir elementi faollashtirish funktsiyasi sifatida Gauss tipidagi radial asos funktsiyasidan foydalanadi. Radial asos funktsiyasi (yadro funktsiyasi) neyron bilan bog'langan og'irlik vektori bilan belgilanadigan nuqtada markazlashtirilgan. Yadro funktsiyasining joylashuvi ham, kengligi ham namunali namunalarda o'qitilishi kerak. Odatda o'qitish misollariga qaraganda ancha kam yadrolar mavjud. Har bir chiqish elementi ushbu radial asos funktsiyalarining chiziqli birikmasini hisoblaydi. Taxminlovchi masala nuqtai nazaridan yashirin elementlar unda qurilgan fazoda kirish misollarini ifodalash uchun asosiy tizimni tashkil etuvchi funktsiyalar to'plamini tashkil qiladi.
RBF tarmoqlarini o'rganish uchun turli xil algoritmlar mavjud. Asosiy algoritm ikki bosqichli o'rganish strategiyasidan yoki aralash ta'limdan foydalanadi. Yashirin va chiqish qatlamlari orasidagi bog'lanishlarning og'irligini aniqlash uchun nazorat qilinmagan klasterlash algoritmi va keyin nazorat ostida rms xatolarni minimallashtirish algoritmi yordamida yadro holati va kengligini baholaydi. Chiqarish elementlari chiziqli bo'lgani uchun iterativ bo'lmagan algoritm qo'llaniladi. Ushbu dastlabki taxmin olingandan so'ng, tarmoq parametrlarini yaxshilash uchun gradient tushishi qo'llaniladi.
Ushbu aralash RBF tarmog'ini o'rganish algoritmi ko'p qatlamli perseptronlarni o'rgatish uchun orqaga tarqalish algoritmiga qaraganda tezroq birlashadi. Biroq, RBF tarmog'i ko'pincha juda ko'p yashirin elementlarni o'z ichiga oladi. Bu ko'p qatlamli perseptronga qaraganda RBF tarmog'ining sekinroq ishlashiga olib keladi. RBF tarmog'i va ko'p qatlamli perseptronning samaradorligi (tarmoq hajmiga qarab xatolik) hal qilinayotgan muammoga bog'liq.
Yechilmagan muammolar
Oldinga uzatish tarmoqlarini loyihalashda ko'plab munozarali masalalar mavjud - masalan, berilgan muammo uchun qancha qatlam kerakligi, har bir qatlamda qancha element tanlanishi kerakligi, tarmoq o'quv namunasiga kiritilmagan ma'lumotlarga qanday munosabatda bo'lishi (qanchalik umumlashtirilishi mumkin? tarmoq) va "yaxshi" tarmoqni umumlashtirish qobiliyatiga erishish uchun qanday hajmdagi o'quv namunasi zarur.
Oldinga uzatiladigan ko'p qatlamli tarmoqlar funktsiyalarni tasniflash va yaqinlashtirish uchun keng qo'llanilsa-da, ko'p parametrlarni hali ham sinov va xato orqali aniqlash kerak. Mavjud nazariy natijalar amaliy dasturlarda ushbu parametrlarni tanlash uchun faqat zaif ko'rsatmalar beradi.
O'z-o'zidan tashkil etilgan Kohonen xaritalari
