Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) не 
во всей области допустимых значений 
x
, а лишь в некотором ее подмножестве 
𝕊
. Та-
кая задача называется 
оптимизацией с ограничениями
, или 
ограниченной оптимиза-
цией
. В этом случае точки множества 
𝕊
называются 
допустимыми
.
Часто нас интересует решение, которое в некотором смысле мало. В таких случаях 
обычно налагается ограничение на норму, например ||
x
|| 
≤
1.
Для решения задачи оптимизации с ограничениями можно просто изменить метод 
градиентного спуска, учтя ограничение. Если используется небольшой постоянный 
шаг 
ε
, то можно выполнить шаги градиентного спуска, а затем спроецировать резуль-
таты обратно в 
𝕊
. При использовании линейного поиска можно искать только с та-
кими шагами, при которых новая точка 
x
оказывается допустимой, или же проеци-
ровать каждую точку на прямой обратно в область ограничения. Там, где возможно, 
эффективность этого метода можно повысить, проецируя градиент на касательное 
пространство к допустимой области, перед тем как делать шаг или начинать линей-
ный поиск (Rosen, 1960).
Более сложный подход – сформулировать другую задачу оптимизации без ограни-
чений, решение которой можно преобразовать в решение исходной задачи с ограниче-
ниями. Например, если мы хотим минимизировать 
f
(
x
) для 
x
∈
ℝ
2
с ограничением – 
x
должно иметь строго единичную норму 
L
2
, то можно вместо этого минимизировать 
функцию 
g
(
θ
) = 
f
([cos 
θ
, sin 
θ
]
⏉
) относительно 
θ
, а затем вернуть [cos 
θ
, sin 
θ
] в каче-
стве решения исходной задачи. Этот подход требует изобретательности; для каждой 
задачи оптимизации приходится придумывать отдельное преобразование.