Algoritm loyihalash va tahlil qilish” fanidan mustaqil ishi mustaqil ish mavzu

Neyron chiqish signali.

Neyron tarmog'ini o'rgatish uchun biz o'quv ma'lumotlarini (misollar) tayyorlashimiz kerak. Bizning holatda, o'qitish ma'lumotlari kirish signallari (x1 va x2) va kerakli natijadan iborat z. O'rganish - takrorlash (takrorlash) ketma-ketligi.

Har bir takrorlashda neyronlarning og'irliklari o'quv misollaridan yangi ma'lumotlar yordamida o'rnatiladi.

Og'irlik omillarini o'zgartirish quyida tavsiflangan algoritmning mohiyatidir.

Treningning har bir bosqichi mashg'ulot misollaridan kirish signallarini ochishdan boshlanadi. Shundan so'ng, biz tarmoqning har bir qatlamidagi barcha neyronlar uchun chiqish signallarining qiymatlarini aniqlashimiz mumkin.

Quyidagi rasmlar signalning tarmoq orqali qanday o'tishini ko'rsatadi.

W (Xm) n belgilari Xm tarmoq kirish va kirish qavatidagi n neyron o'rtasidagi bog'liqlikning og'irligini aks ettiradi.

Y (n) belgilari n neyronning chiqishini ifodalaydi.

Yashirin qatlam orqali signal tarqalishi.

Wmn belgilari m neyron m chiqishi va keyingi neyron n ning neyron kiritilishi orasidagi bog'lanishning og'irlik omillarini aks ettiradi.

Chiqish qatlami orqali signalning tarqalishi

Algoritmning keyingi bosqichida y natijada o'qitish ma'lumotlarida saqlanadigan kerakli z chiqishi bilan taqqoslanadi. Ushbu ikkita signal orasidagi farq tarmoqning chiqish qavatining d xatosi deb ataladi.

Ichki neyronlar uchun xato signalini to'g'ridan-to'g'ri hisoblash mumkin emas, chunki bu neyronlarning chiqish qiymatlari noma'lum. Ko'p yillar davomida ko'p qatlamli tarmoqni o'qitishning ma'lum samarali usuli mavjud emas. Faqat saksoninchi yillarning o'rtalariga kelib, xatoni orqaga qaytarish algoritmi ishlab chiqildi. Ushbu g'oya, chiqish signallari oxirgi neyronga kiritilgan barcha neyronlarga xato signalini d (mashg'ulot bosqichida hisoblab chiqilgan) tarqatishdir.

Xatoning orqaga tarqalishi uchun ishlatiladigan Wmn og'irliklari chiqish signalini hisoblash paytida ishlatilgani bilan bir xil. Faqat ma'lumotlar oqimining yo'nalishi o'zgaradi (signallar chiqishdan kirishga uzatiladi).

Ushbu jarayon tarmoqning barcha qatlamlari uchun takrorlanadi. Agar xato bir nechta neyronlardan kelib chiqsa, ular quyidagicha umumlashtiriladi:

Har bir neyron uchun signal xatosining kattaligi hisoblanganda, neyronning har bir kirish tugunining (dendrit) og'irlik koeffitsientlari sozlanishi mumkin.

Quyidagi formulalarda df (e) / de - bu neyronlarni faollashtirish funktsiyasining hosilasi (uning og'irliklari sozlanmoqda). esimizda bo'lganidek, sigmasimid turini faollashtirish funktsiyasi uchun

1

S(x) = -----------

1 + exp(-x)

hosila funktsiyaning o'zi orqali ifodalanadi:

S'(x) = S(x)*(1 - S(x))

bu backpropagation usulining hisoblash murakkabligini sezilarli darajada kamaytirishi mumkin.

Derivativni hisoblash zarur, chunki ANNni backpropagation algoritmi yordamida o'rgatish paytida tortish koeffitsientlarini sozlash uchun gradient tushish usuli qo'llaniladi.

H koeffitsienti tarmoqni o'rganish darajasiga ta'sir qiladi. Ushbu parametrni tanlashning bir necha usullari mavjud. Birinchi usul - o'quv jarayonini h parametrining katta qiymati bilan boshlash. Og'irlik omillarini tuzatish paytida parametr asta-sekin kamayadi.

Ikkinchisi, h parametrining kichik qiymatidan boshlab, yanada murakkab mashg'ulot usuli. Trening davomida parametr ortadi va keyin treningning yakuniy bosqichida yana kamayadi.

Ta'lim jarayonini h parametrining past qiymati bilan boshlash og'irlik koeffitsientlari belgisini aniqlashga imkon beradi.