Neyron tarmoq asoslari va uni chuqur o'rganish

Обновление весов выходного слоя. Новые веса выходного слоя вычисляются по формуле:
Chiqish qatlamining og'irliklarini yangilang. Chiqish qatlamining yangi og'irliklari quyidagi formula bo'yicha hisoblanadi:


W_j,i ← W_j,i + α × a_j × Err_i × g′ (input_sum_i).

Это правило обновления веса связи между нейронами j и i. Связь, ведущая в вы-ходной слой, выделена на рис. 2.9.

Bu j va i neyronlar orasidagi ulanishni yangilash uchun qoidadir. Chiqish qatlamiga olib keladigan aloqa sek. 2.9.

Как видим, мы работаем с весом связи между нейроном j предыдущего скрыто-го слоя и текущим нейроном i. Скорость обучения α (обсуждается ниже) умножа-ется на значение активации нейрона j, равное результату применения функции активации этого нейрона к суммарному входу в него.

Ko'rib turganingizdek, biz oldingi yashirin qatlam neyroni va hozirgi neyron i o'rtasidagi aloqaning og'irligi bilan ishlamoqdamiz. Ta'lim darajasi a (quyida muhokama qilingan) ushbu neyronning faollashtirish funktsiyasini unga kiritilgan umumiy miqdorga qo'llash natijasiga teng bo'lgan j neyronining aktivizatsiya qiymatiga ko'paytiriladi.
Суммарный вход, передаваемый функции активации нейрона i, равен скаляр-ному произведению вектора входящих весов W_j на вектор активации A_j плюс сме-щение:
I neyronning faollashuv funktsiyasiga berilgan umumiy kirish kiruvchi og'irliklar vektorining skalyar mahsulotiga - A_j faollashuv vektori tomonidan W_j ga teng va manba:


input_sum_i = W_i · A_i + b.
Обучение нейронных сетей  69
Таким образом, значение активации нейрона j вычисляется по формуле:
Shunday qilib, j neyronining aktivizatsiya qiymati quyidagi formula bo'yicha hisoblanadi.


a_j = g(input_sum_j).

Скрытый

(слой

слой

j)

Выходной слой

(слой i)

Рис. 2.9  Обновление весов связей,

ведущих в выходной слой

Chiqish qatlamiga olib keladigan havola og'irligini yangilang

Ошибка для примера e в нейроне i обозначается Err_i. Вклад производной функции активации g′(x), применяемой к суммарному входу нейрона i, описывается членом

Masalan, neyrondagi e xatosi Erri tomonidan belgilanadi. I neyronning umumiy kiritilishiga qo'llaniladigan g ′ (x) hosilaviy faolligi funktsiyasining hissasi ushbu atama bilan tavsiflanadi

5888. 
      ′(input_sum_i).
      

Эта формула похожа на формулу обновления весов перцептрона, только вмес­ то исходных входных значений используются значения активации предыдущего слоя. Кроме того, в нее входит производная функции активации, выражающая ее градиент.

Ushbu formulaning qabul qilinishi og'irliklarni yangilash formulasiga o'xshaydi, dastlabki kirish qiymatlari o'rniga faqat oldingi qavatning faollashtirish qiymatlari ishlatiladi. Bundan tashqari, u o'z gradyanini ifodalovchi aktivatsiya funktsiyasining lotinini o'z ichiga oladi.