Neyron tarmoq asoslari va uni chuqur o'rganish

Обратное распространение и доля ответственности за ошибку
Orqaga taqsimlash va xato uchun javobgarlik ulushi
Смысл обратного распространения – распределение ответственности за ошибку

23. 
    процессе движения по сети в обратном направлении. Каждый скрытый блок, по-сылающий сигнал текущему блоку, несет долю ответственности за ошибку в каждом из нейронов, с которыми он связан.
    
24. 
    Teskari taqsimotning ma'nosi tarmoq bo'ylab qarama-qarshi yo'nalishda harakat qilish xatosi uchun javobgarlikni taqsimlashdir. Joriy blokka signal yuboradigan har bir yashirin blok, u bog'langan har bir neyronning xatosi uchun javobgarlikni o'z bo'yniga oladi.
    

Первый скрытый слой получает данные от вектора исходных признаков, а все после-дующие пользуются значениями активации нейронов предыдущего слоя. Мы долж-ны правильно распределить ошибку между нейронами скрытых слоев. В алгоритме обратного распространения мы делим значения _i пропорционально весам связей между скрытым и выходным блоками.
Birinchi yashirin qatlam dastlabki xususiyatlarning vektoridan ma'lumotlarni oladi va undan keyingi barcha oldingi qatlam neyronlarining faollashtirish qiymatlaridan foydalanadi. Xatoni yashirin qatlamlarning neyronlari o'rtasida to'g'ri taqsimlashimiz kerak. Backpropagation algoritmida i qiymatlarini yashirin va chiqish bloklari orasidagi bog'lanishlarning og'irliklariga mutanosib ravishda ajratamiz.

Для вычисления _j применяется формула

J ni hisoblash uchun formuladan foydalanamiz


_j ← g′(input_sum_j)Σ_iW_{j, i i}.

Функции активации  71
Здесь мы берем каждый блок i в текущем слое и умножаем текущее значение ошибки _i на вес входящей связи и на производную функцию активации. В результате полу-чается доля ошибки, приходящаяся на блок предыдущего слоя, которая используется для обновления весов связей, входящих в этот слой. Этот алгоритм применяется слой

за слоем, пока не будут обновлены все слои сети.

Bu erda biz har bir blokni joriy sathda olamiz va xato qiymatini kiruvchi ulanishning og'irligiga va hosilaviy faollashtirish funktsiyasiga ko'paytiramiz. Natijada, oldingi qatlamning har bir bloki uchun xato ulushini olamiz, bu qatlamga kiritilgan bog'lanish og'irliklarini yangilash uchun ishlatiladi. Ushbu algoritm barcha tarmoq qatlamlari yangilanmaguncha qavatma-qavat qo'llaniladi.
Величина шагов обучения, т. е. количество весов, изменяемых на каждой ите-рации, определяется скоростью обучения. Это задаваемый нами параметр (а не результат измерения качества сети). Мы еще вернемся к скорости обучения, когда будем обсуждать гиперпараметры в целом.
Mashg'ulot bosqichlarining kattaligi, ya'ni har bir iteratsiyada o'zgarishi mumkin bo'lgan og'irliklar soni mashg'ulot tezligiga qarab belgilanadi. Bu biz belgilaydigan parametr (va tarmoq sifatini o'lchash natijasi emas). Umuman olganda giperparametrlarni muhokama qilganda o'rganish tezligiga qaytamiz.