Multilayer Perceptron: Architecture Optimization and Training

Taklif etilgan Model uchun Optimallashtirish the MLP Og'irliklar va Arxitektura

MLP arxitekturasining ta'rifi qatlamlar soni, ushbu qatlamlarning har biridagi yashirin tugunlar soni va maqsad funktsiyasini tanlashga bog'liq, ammo joriy qilingan boshqa yondashuv. Ushbu maqolada qatlamlar orasidagi barcha ulanishlarni boshqarish va o'chirish imkonini beradi biroz ning ular, qachon U yerda bor yo'q ulanishlar orasida the tugun

va qatlam va barcha neyronlar qatlamlarda o'chirilganda biz uni yo'q qilamiz.
In bu ish, biz tayinlash uchun har biri ulanish a ikkilik o'zgaruvchan qaysi

Taxmin qilib bu biz ishlatilgan a kiritish qatlam bilan n ₀
va a sigmasimon faollashtirish funktsiyasi


neyronlar

(1)

oladi the qiymat 1 agar the ulanish mavjud ichida the tarmoq va 0 aks holda. Shuningdek, biz yashirin qatlamlar uchun boshqa ikkilik o'zgaruvchini bog'laymiz.
Belgilash:
: Raqam ning yashirin qatlamlar.

Kimga olish the tarmoq chiqish biz kerak uchun hisoblash the chiqish ning Har bir qatlamdagi har bir birlik:
Endi yashirin qatlamlar to'plamini ko'rib chiqing . Taxmin qilib Bu har bir yashirin qatlam bo'yicha neyronlar soni .
Uchun chiqish birinchi yashirin qatlam

(2)

: Raqam ning neyronlar ichida kirish qatlami.
: Raqam ning neyronlar ichida yashirin qatlam i. : Yashirin qatlamning optimal soni.
: Raqam ning neyronlar ichida chiqish qatlami.
: Neyron tarmoqning kirish ma'lumotlari.
: Neyron tarmoqning hisoblangan chiqishi .

: Chiqish neyrondan j yashirin holda qatlam i.
: Faollashtirish funktsiyasi.
: Xohlagan chiqish.
uchun ikkilik o'zgaruvchi
va uchun ikkilik o'zgaruvchi

Biz hisoblangan the chiqish ning asabiy tarmoq tomonidan the quyidagi formula: