собой сумму распределенных ошибок, в данном случае равных 0,48
и 0,4, сложение которых дает 0,88.
На следующей диаграмме демонстрируется применение той же
методики к слою, который предшествует скрытому.
Резюме
• Нейронные сети обучаются посредством уточнения весовых коэффициентов
своих связей. Этот процесс управляется
ош ибкой
— разностью между пра
вильным ответом, предоставляемым тренировочными данными, и фактическим
выходным значением.
• Ошибка на выходных узлах определяется простой разностью между желаемым
и фактическим выходными значениями.
• В то же время величина ошибки, связанной с внутренними узлами, не столь
очевидна. Одним из способов решения этой проблемы является распределение
ошибок выходного слоя между соответствующими связями пропорционально
весу каждой связи с последующим объединением соответствующих разрознен
ных частей ошибки на каждом внутреннем узле.
Обратное распространение ошибок при большом количестве слоев
95
Описание обратного распространения
ошибок с помощью матричной алгебры
Можем ли мы упростить трудоемкие расчеты, используя возмож
ности матричного умножения? Ранее,
когда мы проводили расчеты,
связанные с распространением входных сигналов в прямом направ
лении, это нам очень пригодилось.
Чтобы посмотреть, удастся ли нам представить обратное распростра
нение ошибок с помощью более компактного синтаксиса матриц, опи
шем все шаги вычислительной процедуры, используя матричные обо
значения. Кстати, тем самым мы попытаемся
векторизовать процесс.
Возможность выразить множество вычислений в матричной фор
ме позволяет нам сократить длину соответствующ их выражений
и обеспечивает более высокую эффективность компьютерных рас
четов, поскольку компьютеры могут
использовать повторяющийся
шаблон вычислений для ускорения выполнения соответствующих
операций.
Отправной точкой нам послужат ошибки, возникающие на выхо
де нейронной сети в последнем, выходном слое. В данном случае вы
ходной слой содержит только два узла с ошибками
ех и
е2:
Далее нам нужно построить матрицу для ошибок скрытого слоя.
Эта задача может показаться сложной,
поэтому мы будем выполнять
ее по частям. Первую часть задачи представляет первый узел скры
того слоя. Взглянув еще раз на приведенные выше диаграммы, вы
увидите, что ошибка на первом узле скрытого слоя формируется за
счет двух вкладов со стороны выходного слоя. Этими двумя сигнала
ми ошибок являются
ех * *ги /
(wn +
w21) и
е2 *
w12/ (w12
+
w22) . А
теперь
обратите внимание на второй узел скрытого слоя, и вы вновь уви
дите, что ошибка на нем также формируется за счет двух вкладов:
Do'stlaringiz bilan baham: