Нейронную

104 
Глава 1, Как работают нейронные сети

---

Градиентный спуск должен с чего-то начинаться. На графике по­
казана случайно выбранная начальная точка. Подобно покорителю 
гор, мы исследуем место, в котором находимся, и видим, в каком на­
правлении идет спуск. Наклон кривой также обозначен на графике, 
и в данном случае ему соответствует отрицательный градиент. Мы 
хотим следовать в направлении вниз, поэтому движемся вдоль оси х 
вправо. Таким образом, мы немного увеличиваем х. Это первый шаг 
нашего альпиниста. Вы видите, что мы улучшили нашу позицию 
и продвинулись ближе к фактическому минимуму.
Представим, что мы начали спуск с какого-то другого места, как 
показано на следующем графике.
На этот раз наклон почвы под нашими ногами положителен, по­
этому мы движемся влево, т.е. немного уменьшаем х. И вновь вы 
видите, что мы улучшили наше положение, приблизившись к фак­
тическому минимуму. Мы можем продолжать действовать в том же 
духе до тех пор, пока изменения не станут настолько малыми, что 
мы будем считать, что достигли минимума.
Необходимым усовершенствованием этого метода должно быть 
изменение величины шагов во избежание перескока через минимум, 
что приведет к бесконечным прыжкам вокруг него. Вообразите, что 
мы оказались на расстоянии 0,5 метра от истинного минимума, но
Как мы фактически обновляем весовые коэффициенты 
105

---

длина нашего шага всегда равна 2 метра. Тогда мы будем постоянно 
пропускать минимум, поскольку на каждом шаге в его направлении 
мы будем перескакивать через него. Если мы будем уменьшать ве­
личину шага пропорционально величине градиента, то по мере при­
ближения к минимуму будем совершать все более мелкие шаги. При 
этом мы предполагаем, что чем ближе к минимуму, тем меньше на­
клон. Для большинства гладких (непрерывно дифференцируемых) 
функций такое предположение вполне приемлемо. Оно не будет 
справедливым лишь по отношению к экзотическим зигзагообразным 
функциям со взлетами и провалами в точках, которые математики 
называют точками разрыва.
Идея уменьшения величины шага по мере уменьшения величины 
градиента, являющейся хорошим индикатором близости к миниму­
му, иллюстрируется следующим графиком.
Кстати, обратили ли вы внимание на то, что мы изменяем