Теперь мы можем разделаться с каждой из этих частей по отдель
ности. С первой частью мы справимся легко, поскольку для это
го нужно всего лишь взять простую производную от квадратичной
функции. В результате получаем:
Со второй частью
придется немного повозиться, но и это не вызо
вет больших затруднений. Здесь
о к
— это выходной сигнал узла
к ,
который,
как вы помните, получается в результате применения сиг
моиды к сигналам, поступающим на данный узел. Для большей яс
ности запишем это в явном виде:
Здесь
о .
— выходной сигнал узла предыдущего скрытого слоя, а не
выходной сигнал узла последнего слоя.
Как продифференцировать сигмоиду? Мы могли бы это сделать са
мостоятельно, проведя сложные и трудоемкие вычисления в соответ
ствии с изложенными в приложении А фундаментальными идеями,
однако эта работа уже проделана другими людьми. Поэтому мы про
сто воспользуемся
уже известным ответом, как это ежедневно дела
ют математики по всему миру.
Дифференцирование некоторых функций приводит к выражени
ям устрашающего вида. В случае же сигмоиды результат получается
очень простым. Это одна из причин широкого применения сигмоиды
в качестве функции активации в нейронных сетях.
Как мы фактически обновляем весовые коэффициенты
115
Используя этот впечатляющий результат,
получаем следующее
выражение:
А откуда взялся последний сомножитель? Это результат приме
нения цепного правила к производной сигмоиды, поскольку выра
жение под знаком функции
с и г м о и д а
() также должно быть продиф
ференцировано по переменной wjk. Это делается
очень просто и дает
в результате ог
Прежде чем записать окончательный ответ, избавимся от множи
теля 2 в начале выражения. Мы вправе это сделать,
поскольку нас
интересует только направление градиента функции ошибки, так что
этот множитель можно безболезненно отбросить. Нам совершенно
безразлично, какой множитель будет стоять в начале этого выраже
ния, 2, 3 или даже 100, коль скоро мы всегда будем его игнориро
вать. Поэтому для простоты избавимся от него.
Окончательное
выражение, которое мы будем использовать
для изменения веса w.k, выглядит так.
Ух ты! У нас все получилось!
Это и есть то магическое выражение, которое мы искали. Оно яв
ляется ключом к тренировке нейронных сетей.
Проанализируем вкратце это выражение, отдельные части которо
го выделены цветом.
Первая часть, с которой вы уже хорошо знако
мы, — это ошибка (целевое значение минус фактическое значение).
Do'stlaringiz bilan baham: