Я. Гудфеллоу, И. Бенджио, А. Курвилль

седловыми 
точками
. На рис. 4.2 показаны примеры всех критических точек.
Седловая точка
Минимум
Максимум
Рис. 4.2 

Типы критических точек. Примеры трех типов критических то-
чек в одномерном случае. Критической называется точка с нулевым угло-
вым коэффициентом. Это может быть локальный минимум, в котором зна-
чение функции больше значений в окрестных точках, локальный максимум, 
в котором значение функции меньше значений в окрестных точках, или 
седловая точка, в которой значение функции может быть как больше, так 
и меньше значений в окрестных точках
Точка, в которой достигается абсолютно наименьшее значение 
f
(
x
), называется 
глобальным минимумом
. У функции может быть один или несколько глобальных 
минимумов. Могут также существовать локальные минимумы, не являющиеся гло-
бальными. В контексте глубокого обучения мы оптимизируем функции, у которых 
может быть много неоптимальных локальных минимумов, а также много седловых 
точек, окруженных очень плоскими участками. Все это затрудняет оптимизацию, 
особенно если речь идет о функциях нескольких переменных. Поэтому обычно счита-
ется достаточным найти малое значение 
f
, формально не являющееся минимальным. 
Пример показан на рис. 4.3.
Этот локальный минимум почти 
так же хорош, как глобальный, 
поэтому в этой точке можно 
остановиться
В идеале мы хотели 
бы найти глобальный 
минимум, но это
не всегда возможно
Это плохой локальный 
минимум, его следует 
избегать
f
(
x
)
x
Рис. 4.3 

Приближенная минимизация. Алгоритмы оптимизации могут 
не найти глобального минимума, если имеется несколько локальных мини-
мумов или плато. В глубоком обучении мы обычно соглашаемся на такие 
решения, несмотря на то что это не настоящий минимум, при условии что 
они соответствуют действительно низким значениям функции стоимости

---