Neyron tarmoq asoslari va uni chuqur o'rganish

Таблица 2.2. Обозначения, относящиеся к нейронной сети

Download 3,8 Mb. bet 25/112 Sana 11.06.2022 Hajmi 3,8 Mb. #655828 Turi Глава

Bog'liq
2 bo\'lim (2)

Bu sahifa navigatsiya:

• Обозначение Пояснение
• Jadval 2.2.
• Belgilanishi Izoh
• Пример 2.2 
• Замечание о функциях потерь в псевдокоде Soxta kodni yoqotish funktsiyalari haqida eslatma
• Разбор псевдокода алгоритма обратного распространения Teskari yonaltirishning kod osti kodlarini algoritmini tahlil qilish

Таблица 2.2. Обозначения, относящиеся к нейронной сети

Обозначение	Пояснение
i	Индекс нейрона
ni	Нейрон с индексом i
j	Индекс нейрона предыдущего слоя, связанного с нейроном i
aj	Значение активации нейрона i (выход нейрона i)
Ai	Вектор значений активации нейрона i
g	Функция активации
g’	Производная функции активации
Erri	Разность между выходом сети и фактическим значением для обучающего примера
Wi	Вектор весов связей, ведущих в нейрон i
Wj,i	Вес связи, идущей от нейрона j в нейрон i
input_sumi	Взвешенная сумма входов в нейрон i
input_sumj	Взвешенная сумма входов в нейрон j предыдущего слоя (в алгоритме обратного распро-
	странения)
a	Скорость обучения
j	Часть ошибки, приходящаяся на нейрон j предыдущего слоя
i	Часть ошибки, приходящаяся на нейрон i; Erri × g′(input_sumi)

Jadval 2.2. Neyron tarmog'i bilan bog'liq belgilar
Belgilanishi	Izoh
i	Neyron indeksi
ni	I Indeksli neyron
j	Neyron i bilan bog'liq bo'lgan oldingi qatlamning neyron indeksi
aj	Neyron i aktivizatsiya qiymati (neyron chiqishi i)
Ai	Neyronning aktivizatsiya qiymatlari vektori i
g	Faollashtirish funktsiyasi
g’	Derivativ aktivatsiya funktsiyasi
Erri	Tarmoq chiqishi va o'quv misolidagi haqiqiy qiymat o'rtasidagi farq
Wi	I neyroniga olib keladigan ulanishlarning og'irliklari vektori
Wj,i	Neyron j dan neyron i ga o'tadigan ulanishning og'irligi
input_sumi	Neyron i ga kiritiladigan og'irlik miqdori
input_sumj	Oldingi qavatning j neyroniga kiritiladigan qo'shimchalar yig'indisi (teskari taqsimlash algoritmida)
a	O'rganish tezligi
j	Oldingi qavatning neyroniga tegishli bo'lgan xatoning bir qismi
i	Har bir neyron uchun xatoning bir qismi; Erri × g ′ (kiritish_sumi)

Пример 2.2  Псевдокод алгоритма обратного распространения для обновления весов function backpropagation-algorithm
2.2-misol Og'irlikni yangilash uchun backpropagation algoritmining soxta kodi
function backpropagation-algorithm

( network, training-records, learning-rate ) returns network network <- initialize weights (randomly) start loop

for each example in training-records do

23. 
    вычислить выход этого входного примера
    
24. 
    ushbu kirish misolining natijasini hisoblang
    

network-output <- neural-network-output( network, example )

// вычислить ошибку и дельту для нейронов выходного слоя

// chiqish qatlamining neyronlari uchun xato va deltani hisoblash

68  Основы нейронных сетей и глубокого обучения
example_err <- target-output – network-output

5888. 
      обновить веса связей, ведущих в выходной слой
      
5889. 
      chiqish qatlamiga olib keladigan aloqalarning og'irliklarini yangilang
      

W_j,i ← W_j,i + α × a_j × Err_i × g′(input_sum_i)

for each subsequent-layer in network do

23. 
    вычислить ошибку в каждом блоке
    
24. 
    har bir blokda xatoni hisoblash
    
25. 
    _j ← g′(input_sum_j)Σ_iW_{j,i i}
    

23. 
    обновить веса входящих в слой связей
    

23. 
    aloqalarni og'irligini yangilang
    

W_k,j ← W_{k, j} + α × a_k ×  _j
end for

end for

end loop
когда сеть сойдется
qachonki tarmoq birlashganda

return network

Замечание о функциях потерь в псевдокоде
Soxta kodni yo'qotish funktsiyalari haqida eslatma

5888. 
      псевдокоде из примера 2.2 функция потерь (описывается ниже в этой главе) явно не вызы-вается. Мы представили алгоритм обратного распространения в виде псевдокода, поскольку считаем, что так будет понятно специалистам-практикам. Но в приложение С мы включили также описание, более подходящее для читателей с математическим складом ума.
      

5888. 
      данном случае член Err_i зависит от производной функции потерь. Мы пользуемся средне-квадратической ошибкой (СКО), поэтому производная оказывается разностью.
      

5888. 
      2.2-misoldagi psevdokod, yo'qotish funktsiyasi (ushbu bobda keyinroq tasvirlangan) aniq chaqirilmagan. Biz backpropagation algoritmini psevdokod shaklida taqdim etdik, chunki biz bu amaliyotchilarga tushunarli bo'lishiga ishonamiz. Ammo C ilovasida biz matematik tafakkurli o'quvchilar uchun mos keladigan tavsifni ham kiritdik. Bunday holda, Erri atamasi yo'qotish funktsiyasining hosilasiga bog'liq. Biz o'rtacha kvadratik ildiz xatosi (O”KT) dan foydalanamiz, shuning uchun lotin hosilasi farq qiladi.
      

Разбор псевдокода алгоритма обратного распространения
Teskari yo'naltirishning kod osti kodlarini algoritmini tahlil qilish

На вход алгоритма из примера 2.2 подаются следующие данные:

 сеть: многослойная нейронная сеть прямого распространения;
 обучающие примеры: набор обучающих векторов и соответствующих им выходных меток;
 скорость обучения, обычно обозначаемая греческой буквой альфа.
Quyidagi ma'lumotlar 2.2-misoldan algoritmning kirishiga beriladi:
- tarmoq: ko'p qavatli to'g'ridan-to'g'ri tarqatish neyron tarmog'i;
- o'quv misollari: o'quv vektorlari to'plami va ularning tegishli chiqish yorliqlari;
- o'rganishning tezligi, odatda yunon alfasi harfi bilan belgilanadi.

23. 
    начале работы мы инициализируем веса нейронной сети, после чего входим
    

23. 
    цикл обработки входных примеров (цикл продолжается, пока не будет выполне-но условие остановки или не достигнуто максимальное число периодов). Сначала вычисляется выход сети для текущего примера. Затем этот выход сравнивается с фактической меткой для данного примера и вычисляется ошибка (example_err).
    
24. 
    Ishning boshida biz neyron tarmog'ining og'irliklarini aniqlaymiz, shundan so'ng biz kirish misollarining ishlov berish sikliga kiramiz (tsikl to'xtash sharti bajarilgunga qadar yoki davrlarning maksimal soni erishilgunga qadar davom etadi). Birinchidan, hozirgi misol uchun tarmoq chiqishi hisoblanadi. Keyin ushbu natija ushbu misol uchun haqiqiy yorliq bilan taqqoslanadi va xato hisoblanadi (example_err).
    
25. 
    

Теперь все готово к вычислению обновлений весов связей, ведущих в выходной слой.

Endi siz chiqish qatlamiga olib keladigan ulanish og'irliklarining yangilanishini hisoblashga tayyormiz.

Download 3,8 Mb.

Do'stlaringiz bilan baham: