Нейронную

92 
Глава 
Как работают нейронные сети

---

Это означает, что с каждой из двух связей, исходящих из узла про­
межуточного слоя, ассоциируется некоторая ошибка. Мы могли бы 
воссоединить ошибки этих двух связей, чтобы получить ошибку 
для этого узла в качестве второго наилучшего подхода, поскольку 
мы не располагаем фактическим целевым значением для узла про­
межуточного слоя. Следующая диаграмма иллюстрирует эту идею:
На диаграмме отчетливо видно, что именно происходит, однако 
для уверенности давайте разберем ее более детально. Нам необходи­
мы величины ошибок для узлов скрытого слоя, чтобы использовать 
их для обновления весовых коэффициентов связей с предыдущим 
слоем. Обозначим эти ошибки как ескрытый. Но у нас нет очевидного 
ответа на вопрос о том, какова их величина. Мы не можем сказать, 
что ошибка — это разность между желаемым или целевым выход­
ным значением этого узла и его фактическим выходным значением, 
поскольку данные тренировочного примера предоставляют лишь 
целевые значения для узлов последнего, выходного слоя. Они не го­
ворят абсолютно ничего о том, какими должны быть выходные сиг­
налы узлов любого другого слоя. В этом и заключается суть сложив­
шейся головоломки.
Мы можем воссоединить ошибки, распределенные по связям, ис­
пользуя обратное распространение ошибок, с которым вы уже позна­
комились. Поэтому ошибка на первом скрытом узле представляет со­
бой сумму ошибок, распределенных по всем связям, исходящим из
Обратное распространение ошибок при большом количестве слоев 
93

---

этого узла в прямом направлении. На приведенной выше диаграмме 
показано, что имеется некоторая доля выходной ошибки евыходной v 
приписываемая связи с весом wn , и некоторая доля выходной ошиб- 
к и е выхоДной 2> 
приписываемая связи с весом w12.
Вышесказанное можно записать в виде следующего выражения:
Чтобы проиллюстрировать, как эта теория выглядит на практике, 
приведем диаграмму, демонстрирующую обратное распространение 
ошибок в простой трехслойной сети на примере конкретных данных.
Проследим за обратным распространением одной из ошибок. Вы 
видите, что после распределения ошибки 0,5 на втором узле вы­
ходного слоя между двумя связями с весами 1,0 и 4,0 мы получа­
ем доли, равные 0,1 и 0,4 соответственно. Также можно видеть, что 
объединенная ошибка на втором узле скрытого слоя представляет