Нейронную

94 
Глава 1. Как работают нейронные сети

---

собой сумму распределенных ошибок, в данном случае равных 0,48 
и 0,4, сложение которых дает 0,88.
На следующей диаграмме демонстрируется применение той же 
методики к слою, который предшествует скрытому.
Резюме
• Нейронные сети обучаются посредством уточнения весовых коэффициентов 
своих связей. Этот процесс управляется 
ош ибкой 
— разностью между пра­
вильным ответом, предоставляемым тренировочными данными, и фактическим 
выходным значением.
• Ошибка на выходных узлах определяется простой разностью между желаемым 
и фактическим выходными значениями.
• В то же время величина ошибки, связанной с внутренними узлами, не столь 
очевидна. Одним из способов решения этой проблемы является распределение 
ошибок выходного слоя между соответствующими связями пропорционально 
весу каждой связи с последующим объединением соответствующих разрознен­
ных частей ошибки на каждом внутреннем узле.
Обратное распространение ошибок при большом количестве слоев 
95

---

Описание обратного распространения 
ошибок с помощью матричной алгебры
Можем ли мы упростить трудоемкие расчеты, используя возмож­
ности матричного умножения? Ранее, когда мы проводили расчеты, 
связанные с распространением входных сигналов в прямом направ­
лении, это нам очень пригодилось.
Чтобы посмотреть, удастся ли нам представить обратное распростра­
нение ошибок с помощью более компактного синтаксиса матриц, опи­
шем все шаги вычислительной процедуры, используя матричные обо­
значения. Кстати, тем самым мы попытаемся векторизовать процесс.
Возможность выразить множество вычислений в матричной фор­
ме позволяет нам сократить длину соответствующ их выражений 
и обеспечивает более высокую эффективность компьютерных рас­
четов, поскольку компьютеры могут использовать повторяющийся 
шаблон вычислений для ускорения выполнения соответствующих 
операций.
Отправной точкой нам послужат ошибки, возникающие на выхо­
де нейронной сети в последнем, выходном слое. В данном случае вы­
ходной слой содержит только два узла с ошибками ех и е2:
Далее нам нужно построить матрицу для ошибок скрытого слоя. 
Эта задача может показаться сложной, поэтому мы будем выполнять 
ее по частям. Первую часть задачи представляет первый узел скры­
того слоя. Взглянув еще раз на приведенные выше диаграммы, вы 
увидите, что ошибка на первом узле скрытого слоя формируется за 
счет двух вкладов со стороны выходного слоя. Этими двумя сигнала­
ми ошибок являются ех * *ги / (wn + w21) и е2 * w12/ (w12 + w22) . А теперь 
обратите внимание на второй узел скрытого слоя, и вы вновь уви­
дите, что ошибка на нем также формируется за счет двух вкладов: