Нейронную

110
Глава 1, Как работают нейронные сети

---

приложенного к ее концам. В данном случае нас интересует зависи­
мость функции ошибки от весовых коэффициентов связей внутри 
нейронной сети. Иными словами, нас интересует, насколько величи­
на ошибки чувствительна к изменениям весовых коэффициентов.
Начнем с рассмотрения графика, поскольку это всегда позволяет 
почувствовать под ногами твердую почву, когда пытаешься решать 
трудную задачу.
Этот график в точности повторяет один из тех, которые приводи­
лись ранее, чтобы подчеркнуть, что мы не делаем ничего принци­
пиально нового. На этот раз функцией, которую мы пытаемся ми­
нимизировать, является ошибка на выходе нейронной сети. В этом 
простом примере показан лишь один весовой коэффициент, но мы 
знаем, что в нейронных сетях их будет намного больше.
На следующей диаграмме отображаются два весовых коэффици­
ента, и поэтому функция ошибки графически отображается в виде 
трехмерной поверхности, высота расположения точек которой из­
меняется с изменением весовых коэффициентов связей. Как видите, 
теперь процесс минимизации ошибки больше напоминает спуск в до­
лину по рельефной местности.
Как мы фактически обновляем весовые коэффициенты 
111

---

Визуализировать многомерную поверхность ошибки как функ­
ции намного большего количества параметров значительно труд­
нее, но идея нахождения минимума методом градиентного спуска 
остается той же.
Сформулируем на языке математики, чего мы хотим:
Это выражение представляет изменение ошибки Е при изменении 
веса wjk. Это и есть тот наклон функции ошибки, который нам нужно 
знать, чтобы начать градиентный спуск к минимуму.
Прежде чем мы развернем это выражение, временно сосредоточим 
внимание только на весовых коэффициентах связей между скрытым 
слоем и последним выходным слоем. Интересующая нас область вы­
делена на приведенной ниже диаграмме. К связям между входным 
и скрытым слоями мы вернемся позже.