Нейронную

96 
Глава 1. Как работают нейронные сети

---

•i * W21/ (W21 + Wu ) и e2 * W22/ (w22 + W12) . Ранее мы уже видели, как рабо­
тают эти выражения.
Итак, для скрытого слоя мы имеем следующую матрицу, которая 
выглядит немного сложнее, чем мне хотелось бы.
Было бы здорово, если бы это выражение можно было переписать 
в виде простого перемножения матриц, которыми мы уже распола­
гаем. Это матрицы весовых коэффициентов, прямого сигнала и вы­
ходных ошибок. Преимущества, которые можем при этом получить, 
огромны.
К сожалению, легкого способа превратить это выражение в сверх­
простое перемножение матриц, как в случае распространения сигна­
лов в прямом направлении, не существует. Распутать все эти доли, 
из которых образованы элементы большой матрицы, непросто. Было 
бы замечательно, если бы мы смогли представить эту матрицу в виде 
комбинации имеющихся матриц.
Что можно сделать? Нам позарез нужен способ, обеспечивающий 
возможность использования матричного умножения, чтобы повы­
сить эффективность вычислений.
Ну что ж, дерзнем!
Взгляните еще раз на приведенное выше выражение. Вы видите, что 
наиболее важная для нас вещь — это умножение выходных ошибок 
е п 
на связанные с ними веса w... Чем больше вес, тем большая доля ошиб­
ки передается обратно в скрытый слой. Это важный момент. В дро­
бях, являющихся элементами матрицы, нижняя часть играет роль 
нормирующего множителя. Если пренебречь этим фактором, можно 
потерять лишь масштабирование ошибок, передаваемых по меха­
Описание обратного распространения ошибок с помощью матричной алгебры 
97

---

низму обратной связи. Таким образом, выражение «j * wn / (wn + w21) 
упростится до ej * wn .
Сделав это, мы получим следующее уравнение.
Эта матрица весов напоминает ту, которую мы строили ранее, но 
она повернута вокруг диагонали, так что правый верхний элемент те­
перь стал левым нижним, а левый нижний — правым верхним. Такая 
матрица называется транспонированной и обозначается как wT.
Ниже приведены два примера транспонирования числовых ма­
триц, которые помогут вам лучше понять смысл операции транспо­
нирования. Вы видите, что она применима даже в тех случаях, когда 
количество столбцов в матрице отличается от количества строк.
Итак, мы достигли того, чего хотели, — применили матричный 
подход к описанию обратного распространения ошибок: