Нейронную

114 
Глава 1. Как работают нейронные сети

---

Теперь мы можем разделаться с каждой из этих частей по отдель­
ности. С первой частью мы справимся легко, поскольку для это­
го нужно всего лишь взять простую производную от квадратичной 
функции. В результате получаем:
Со второй частью придется немного повозиться, но и это не вызо­
вет больших затруднений. Здесь 
о к 
— это выходной сигнал узла 
к ,
который, как вы помните, получается в результате применения сиг­
моиды к сигналам, поступающим на данный узел. Для большей яс­
ности запишем это в явном виде:
Здесь 
о . 
— выходной сигнал узла предыдущего скрытого слоя, а не 
выходной сигнал узла последнего слоя.
Как продифференцировать сигмоиду? Мы могли бы это сделать са­
мостоятельно, проведя сложные и трудоемкие вычисления в соответ­
ствии с изложенными в приложении А фундаментальными идеями, 
однако эта работа уже проделана другими людьми. Поэтому мы про­
сто воспользуемся уже известным ответом, как это ежедневно дела­
ют математики по всему миру.
Дифференцирование некоторых функций приводит к выражени­
ям устрашающего вида. В случае же сигмоиды результат получается 
очень простым. Это одна из причин широкого применения сигмоиды 
в качестве функции активации в нейронных сетях.
Как мы фактически обновляем весовые коэффициенты 
115

---

Используя этот впечатляющий результат, получаем следующее 
выражение:
А откуда взялся последний сомножитель? Это результат приме­
нения цепного правила к производной сигмоиды, поскольку выра­
жение под знаком функции 
с и г м о и д а
() также должно быть продиф­
ференцировано по переменной wjk. Это делается очень просто и дает 
в результате ог
Прежде чем записать окончательный ответ, избавимся от множи­
теля 2 в начале выражения. Мы вправе это сделать, поскольку нас 
интересует только направление градиента функции ошибки, так что 
этот множитель можно безболезненно отбросить. Нам совершенно 
безразлично, какой множитель будет стоять в начале этого выраже­
ния, 2, 3 или даже 100, коль скоро мы всегда будем его игнориро­
вать. Поэтому для простоты избавимся от него.
Окончательное выражение, которое мы будем использовать 
для изменения веса w.k, выглядит так.
Ух ты! У нас все получилось!
Это и есть то магическое выражение, которое мы искали. Оно яв­
ляется ключом к тренировке нейронных сетей.
Проанализируем вкратце это выражение, отдельные части которо­
го выделены цветом. Первая часть, с которой вы уже хорошо знако­
мы, — это ошибка (целевое значение минус фактическое значение).