Neyron tarmoq asoslari va uni chuqur o'rganish

Teskari taqsimlash usulida o’qitish.
Teskari taqsimlash algoritmi - neyron tarmoq modelidagi xatolarni kamaytirish jarayonining muhim qismi hisoblanadi. Buni tushuntirish uchun keling, ma'lumotni to'g'ridan-to'g'ri tarqatish tarmoqlarida qanday aylanishini muhokama qilishga qaytaymiz. Birinchidan, biz barmoqlarning ishlash printsipini tushuntiramiz, so'ngra matematik qaydnoma va soxta kodga o'tamiz.

23. 
    
24. 
    Teskari taqsimlash algoritmning kelib chiqishi
    

23. 
    Teskari taqsimlash usulida o’qitish mashg'ulotini 1969 yilda Bryson va Xo kashf etdilar. Neyron tarmoqlarining amaliy qo'llanilishi 1980-yillarning o'rtalarida ularga qiziqish qayta tiklanmaguncha unga e'tibor bermadi.
    

Algoritmning intuitiv tavsifi
Teskari taqsimlash o’qitish usuli bu perseptronli o’qitishga o'xshaydi. Kirish signaliga javobni tarmoq orqali to'g'ridan-to'g'ri tarqalish orqali hisoblashni xohlaymiz. Agar javob belgiga mos keladigan bo'lsa, unda hech narsa qilinmasligi kerak. Agar u bir-biriga mos kelmasa, unda siz tarmoqdagi ulanishlarning vaznlarini tuzatishingiz kerak bo’ladi.
Umumiy neyron tarmog'ini o'rgatish uchun 2.1-rasmda ko'rsatilgan algoritmning soxta kodini ko'rib chiqamiz.

Пример 2.1  Псевдокод алгоритма обучения нейронной сети общего вида

Misol 2.1 General Umumiy maqsadli neyron tarmoqlarini o'rganish algoritmining soxta kodi

function neural-network-learning( training-records ) returns network network <- initialize weights (randomly)

start loop

for each example in training-records do

network-output = neural-network-output( network, example )

66  Основы нейронных сетей и глубокого обучения
actual-output = наблюдаемый выход, ассоциированный с примером обновить веса связей в сети на основе

{ example, network-output, actual-output }

end for

end loop когда предсказания для всех примеров правильны или выполнены условия остановки

return network

Идея в том, чтобы распределить штраф за ошибку между весами, внесшими вклад в выход. В случае алгоритма обучения перцептрона это легко, потому что на выходное значение влияет только один вес для каждого входа. Но в многослойных сетях прямого распространения ситуация сложнее, поскольку на пути от входов

5888. 
      выходам находится много весов. Каждый вес вносит вклад в несколько выходов, поэтому алгоритм обучения должен быть более изощренным.
      
5889. 
      Gap shundaki, bu xato uchun jazoni natijaga hissa qo'shgan tarozilar o'rtasida taqsimlash. In'ikoslarni o'rganish algoritmi holatida, bu oson, chunki chiqish qiymatiga har bir kirish uchun faqat bitta og'irlik ta'sir qiladi. Ammo to'g'ridan-to'g'ri ko'p qavatli to'g'ridan-to'g'ri tarqatish tarmoqlarida vaziyat murakkablashadi, chunki kirish va chiqish joylarida ko'plab og'irliklar mavjud. Har bir vazn bir nechta chiqishga hissa qo'shadi, shuning uchun mashg'ulot algoritmi yanada murakkab bo'lishi kerak.
      

Обратное распространение – это прагматичный подход к распределению вкла-да в ошибку между отдельными весами. Здесь есть сходство с алгоритмом обуче­ ния перцептрона. Мы пытаемся минимизировать расхождение между меткой (ис-тинным выходным значением), ассоциированной с данным входом, и значением, сгенерированным сетью. В следующем разделе мы рассмотрим математическую нотацию, встречающуюся в литературе по обратному распространению ошибки в нейронных сетях прямого распространения.
Orqaga targ'ib qilish - bu shaxsiy og'irliklar orasidagi xatoga hissa qo'shishda pragmatik yondashuv. In'ikosni o'rganish algoritmi bilan o'xshashlik mavjud. Ushbu kirish bilan bog'liq yorliq (haqiqiy chiqish qiymati) va tarmoq tomonidan yaratilgan qiymat o'rtasidagi tafovutni kamaytirishga harakat qilmoqdamiz. Keyingi bo'limda biz to'g'ridan-to'g'ri tarqatish neyron tarmoqlarida xatolarning orqaga tarqalishida adabiyotda topilgan matematik yozuvni ko'rib chiqamiz.