Нейронную

112 
Глава 1. Как работают нейронные сети

---

Мы будем постоянно ссылаться на эту диаграмму, дабы в про­
цессе вычислений не забыть о том, что в действительности означает 
каждый символ. Пусть вас это не смущает, поскольку шаги вычис­
лительной процедуры не являются сложными и будут объясняться, 
а все необходимые понятия ранее уже обсуждались.
Прежде всего запишем в явном виде функцию ошибки, которая 
представляет собой сумму возведенных в квадрат разностей между 
целевым и фактическим значениями, где суммирование осуществля­
ется по всем п выходным узлам.
Здесь мы всего лишь записали, что на самом деле представляет со­
бой функция ошибки Е.
Мы можем сразу же упростить это выражение, заметив, что вы­
ходной сигнал оп на узле п зависит лишь от связей, которые с ним 
соединены. Для узла к это означает, что выходной сигнал ок зависит 
лишь от весов w.k, поскольку эти веса относятся к связям, ведущим 
к узлу к.
Это можно рассматривать еще и как то, что выходной сигнал узла 
к 
не зависит от весов w.b, где 
b
не равно 
к ,
поскольку связь между
Как мы фактически обновляем весовые коэффициенты 
113

---

этими узлами отсутствует. Вес wjb относится к связи, ведущей к вы­
ходному узлу 
Ь , 
но не 
к .
Это означает, что мы можем удалить из этой суммы все сигналы 
оп кроме того, который связан с весом w.k, т.е. ок. В результате мы 
полностью избавляемся от суммирования! Отличный трюк, который 
вам стоит запомнить на будущее.
Если вы уже успели выпить свой кофе, то, возможно, сообрази­
ли, что это означает ненужность суммирования по всем выходным 
узлам для нахождения функции ошибки. Мы уже видели, чем это 
объясняется: тем, что выходной сигнал узла зависит лишь от веду­
щих к нему связей и их весовых коэффициентов. Этот момент часто 
остается нераскрытым во многих учебниках, которые просто приво­
дят выражение для функции без каких-либо пояснений.
Как бы то ни было, теперь мы имеем более простое выражение:
А сейчас мы используем некоторые средства дифференциального 
исчисления. Помните, что при необходимости восстановить в памяти 
необходимые знания вы всегда можете заглянуть в приложение А.
Член 
— константа и поэтому не изменяется при изменении wjk, 
т.е. не является функцией wjk. Было бы очень странно, если бы ис­
тинные примеры, предоставляющие целевые значения, изменялись 
в зависимости от весовых коэффициентов! В результате у нас остает­
ся член ок, который, как мы знаем, зависит от w.k, поскольку весовые 
коэффициенты влияют на распространение в прямом направлении 
сигналов, которые затем превращаются в выходные сигналы ок.
Чтобы разбить эту задачу дифференцирования на более простые 
части, мы воспользуемся цепным правилом (правило дифференциро­
вания сложных функций). Прочитать о нем можно в приложении А.