Нейронную

х в направлении, противополож ном направлению градиента? 
Положительный градиент означает, что мы должны уменьшить х. 
Отрицательный градиент требует увеличения х. Все это отчетливо 
видно на графике, но это легко упустить из виду и пойти совершенно 
неправильным путем.
106 
Глава 1. Как работают нейронные сети

---

Используя метод градиентного спуска, мы не пытались находить 
истинный минимум алгебраическим методом, поскольку сделали 
вид, будто функция 
у
= 
( х
- 1 )2 + 1 для этого слишком сложна. Даже 
если бы мы не могли определить наклон кривой с математической 
точностью, мы могли бы оценить его, и, как нетрудно заметить, это 
все равно вело бы нас в правильном общем направлении.
Вся мощь этого метода по-настоящему проявляется в случае функ­
ций, зависящих от многих параметров. Например, вместо зависимос­
ти 
у
от 
х
мы можем иметь зависимость от 
a , b , с , d , е
и 
f
. Вспомните, 
что функция выходного сигнала, а вместе с ней и функция ошибки 
зависят от множества весовых коэффициентов, которые часто исчис­
ляются сотнями!
Следующий график вновь иллюстрирует метод градиентного спус­
ка, но на этот раз применительно к более сложной функции, завися­
щей от двух параметров. График такой функции можно представить 
в трех измерениях, где высота представляет значение функции.
Как мы фактически обновляем весовые коэффициенты 
107

---

Возможно, глядя на эту трехмерную поверхность, вы задумались 
над тем, может ли метод градиентного спуска привести в другую до­
лину, которая расположена справа. В действительности этот вопрос 
можно обобщить: не приводит ли иногда метод градиентного спуска 
в ложную долину, поскольку некоторые сложные функции имеют 
множество долин?
Что такое ложная долина? Это долина, которая не является самой 
глубокой. Тогда на поставленный вопрос следует дать утвердитель­
ный ответ: да, такое может происходить.
На следующей иллюстрации показаны три варианта градиентного 
спуска, один из которых приводит к ложному минимуму.
Давайте немного передохнем и соберемся с мыслями.