Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
, 
∀
y
, | 
f
(
x
) – 
f
(
y
)| 
≤
ℒ
|| 
x
– 
y 
||
2
.
(4.13)
Это свойство полезно, т. к. позволяет количественно выразить предположение 
о том, что небольшое изменение аргументов, как, например, в алгоритме градиентно-

---

92 

 
Численные методы
го спуска, приводит к небольшому изменению функции. Условие Липшица является 
довольно слабым ограничением, и многие задачи оптимизации в глубоком обучении 
можно свести к этому случаю путем сравнительно небольшой модификации.
Пожалуй, самым успешным примером специализированной оптимизации являет-
ся 
выпуклая оптимизация
. Алгоритмы выпуклой оптимизации могут дать куда боль-
шие гарантии ценой более строгих ограничений. Они применимы только к выпуклым 
функциям – таким, для которых матрица Гессе является всюду положительно полу-
определенной. Такие функции хорошо себя ведут, потому что не могут иметь сед-
ловых точек, а все локальные минимумы обязательно глобальны. Однако большин-
ство задач глубокого обучения трудно выразить в терминах выпуклой оптимизации. 
Выпуклая оптимизация применяется только в качестве подпрограммы в некоторых 
алгоритмах глубокого обучения. Идеи, заимствованные из выпуклой оптимизации, 
бывают полезны для доказательства сходимости алгоритмов, но в общем случае цен-
ность выпуклой оптимизации в контексте глубокого обучения невелика. Дополни-
тельные сведения о выпуклой оптимизации см. в работах Boyd and Vandenberghe 
(2004) или Rockafellar (1997).
4.4. Оптимизация с ограничениями
Иногда задача состоит в том, чтобы найти максимум или минимум функции 
f
(