Нейронную

Обратное распространение ошибок 
при большом количестве слоев
На следующей диаграмме представлен пример простой нейронной 
сети с тремя слоями: входным, скрытым и выходным.
Продвигаясь в обратном направлении от последнего, выходного 
слоя (крайнего справа), мы видим, как информация об ошибке в вы­
ходном слое используется для определения величины поправок к ве­
совым коэффициентам связей, со стороны которых к нему поступа­
ют сигналы. Здесь использованы более общие обозначения 
евыходной 
для выходных ошибок и 
wcb
для весов связей между скрытым и вы­
ходным слоями. Мы вычисляем конкретные ошибки, ассоциируе­
мые с каждой связью, путем распределения ошибки пропорциональ­
но соответствующим весам.
Графическое представление позволяет лучше понять, какие вы­
числения следует выполнить для дополнительного слоя. Мы просто 
берем ошибки ескрытый на выходе скрытого слоя и вновь распределяем 
их по предшествующим связям между входным и скрытым слоями 
пропорционально весовым коэффициентам w . Следующая диаграм­
ма иллюстрирует эту логику.
Обратное распространение ошибок при большом количестве слоев 
91

---

При наличии большего количества слоев мы просто повторили 
бы описанную процедуру для каждого слоя, продвигаясь в обратном 
направлении от последнего, выходного слоя. Идея распространения 
этого потока информации об ошибке (сигнала об ошибке) интуитив­
но понятна. Вы еще раз имели возможность увидеть, почему этот 
процесс описывается термином обратное распространение ошибок.
Если мы сначала использовали ошибку евыходной выходного сиг­
нала узлов выходного слоя, то какую ошибку ескрытый мы собираем­
ся использовать для узлов скрытого слоя? Это хороший вопрос, по­
скольку мы не можем указать очевидную ошибку для узла в таком 
слое. Из расчетов, связанных с распространением входных сигналов 
в прямом направлении, мы знаем, что у каждого узла скрытого слоя 
в действительности имеется только один выход. Вспомните, как мы 
применяли функцию активации к взвешенной сумме всех входных 
сигналов данного узла. Но как определить ошибку для такого узла?
У нас нет целевых или желаемых выходных значений для скры­
тых узлов. Мы располагаем лишь целевыми значениями узлов по­
следнего, выходного слоя, и эти значения происходят из трениро­
вочных примеров. Попытаемся найти вдохновение, взглянув еще раз 
на приведенную выше диаграмму. С первым узлом скрытого слоя 
ассоциированы две исходящие из него связи, ведущие к двум уз­
лам выходного слоя. Мы знаем, что можем распределить выходную 
ошибку между этими связями, поступая точно так же, как и прежде.