Multilayer Perceptron: Architecture Optimization and Training

Bog'liq Ishlar

Adabiyotdagi bir qator yondashuvlar arxitekturani hisobga olgan optimallashtirish. Bu Bo'lim tasvirlaydi faqat bular ishlaydi bizning ishimizga ko'proq yoki kamroq o'xshash.

Global qidiruv optimal bo'lmagan yechimga yaqinlashishni to'xtatishi va optimal sonini aniqlashi mumkin ANN yashirin qatlamlari. So'nggi paytlarda neyron tarmoqlar parametrlarini aniqlash uchun optimallashtirish arxitekturasi muammolari bo'yicha ba'zi tadqiqotlar joriy etildi, ammo optimal emas [3].
o'rganishdan oldin neyron tarmoq arxitekturasini tuzatadi [4]. Boshqalar o'rganish taklif qilish konstruktiv o'rganish [5]-[6]. Bu yashirin qatlamlarning minimal tuzilishi bilan boshlanadi ; bu tadqiqotchilar yashirinni ishga tushirdilar qatlamlar, bilan a minimal raqam ning yashirin qatlam neyronlar. The ko'pchiligi _ tadqiqotchilar davolash the qurilish ning asabiy arxitektura (tuzilmasi)

holda topish the optimal asabiy arxitektura [7].

I
I. Kirish

N yaqinda yillar, asabiy tarmoqlar bor jalb qilingan sezilarli sifatida e'tibor ular isbotladi uchun bo'l muhim ichida ilovalar shunday kabi tarkib -

manzilli xotira, naqsh tan olish va optimallashtirish.
O'rganish yoki o'qitish ANN barcha og'irliklarning qiymatlarini topishga teng bo'lib, kerakli chiqish mos keladigan kirish uchun hosil bo'ladi, bu mumkin bo'l ko'rildi kabi the minimallashtirish ning xato funktsiyasi tarmoqning chiqishi va o'quv kuzatuvlari to'plamining kerakli chiqishi o'rtasidagi farq bilan hisoblanadi [1].
Ko'p qatlamli Perceptron neyron tarmoq ilovalarida orqaga tarqalishni o'rgatish algoritmidan foydalangan holda eng ko'p qo'llaniladigan modeldir. MLP tarmoqlarida arxitekturaning ta'rifi juda dolzarb nuqta, chunki ulanishlarning etishmasligi tarmoqni muammoni hal qila olmasligi mumkin muammo ning yetarli emas sozlanishi parametrlar, esa a ortiqcha ulanishlar o'quv ma'lumotlarining haddan tashqari moslashishiga olib kelishi mumkin [3]. Ayniqsa, qachon biz foydalanish a yuqori raqam ning qatlam va neyronlar bu hisoblanadi bizning ishimiz ushbu maqolada.
Muammoni hal qilish uchun ko'p qatlamli Perceptronni o'rnatish uchun ulanishlar sonini va yashirin qatlamni optimallashtirish qoladi Ushbu tadqiqot sohasidagi hal etilmagan vazifalardan biri Ko'p qatlamli Perceptron kirish qatlami, chiqish qatlami va bu ikki qatlam orasidagi yashirin qatlamlardan iborat. Ushbu qatlamlarning soni muammoga bog'liq [8]. Ushbu ishda biz yashirin qatlamlar sonini va sonini optimallashtiramiz ning neyronlar ichida har biri yashirin qatlam va jarayon ning uchun bitim neyron tarmog'ining tezligi va samaradorligini oshirish uchun bir nechta ulanish bilan. Neyron arxitekturasining ushbu muammosini chiziqli bo'lmagan cheklovlar bilan aralash butun sonli chiziqli bo'lmagan muammo nuqtai nazaridan modellashtiramiz.
Keyingi bo'limda neyron tarmog'i arxitekturasini optimallashtirish bo'yicha tegishli ishlar taqdim etiladi va muhokama qilinadi. 3-bo'limda sun'iy neyron tasvirlangan tarmoqlar. In Bo'lim 4, biz hozir the muammo ning neyron arxitekturasini optimallashtirish va yangi modellashtirish taklif etiladi. Va yakunlashdan oldin, eksperimental natijalar 4-bo'limda keltirilgan.
TB Ludermir va boshqalar [14] a bilan shug'ullanish uchun yondashuvni taklif qilishadi bitta yashirin qatlamda bir nechta ulanishlar va gibrid optimallashtirish algoritmlari bilan mashq qilish.
In bizning oldingi ish biz olish hisob optimallashtirish ning yashirin bilan qatlamlar tanishtirish bitta qaror o'zgaruvchan uchun qatlam [1], va ichida boshqa ishlaymiz _ bor olingan hisob the yashirin tugun optimallashtirish ichida qatlamlar, uchun Ushbu ikkita modelni o'rgatishda biz orqaga tarqalish algoritmlaridan foydalandik [2].

2.