Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
∈ ℝ
n
:
(7.24)
С точки зрения обучения посредством максимизации относительно 
w
, мы можем 
игнорировать члены log 
α
– log 2, поскольку они зависят от 
w
.
7.2. Штраф по норме как оптимизация 
с ограничениями
Рассмотрим функцию стоимости, регуляризированную путем добавления штрафа по 
норме параметров:
J
~
(
θ
; 
X
, 
y
) = 
J
(
θ
; 
X
, 
y
) + 
α
Ω
(
θ
). 
(7.25)
Напомним (см. раздел 4.4), что для минимизации функции при наличии ограниче-
ний мы можем построить обобщенную функцию Лагранжа, состоящую из исходной 
целевой функции плюс набор штрафов. Каждый штраф имеет вид произведения ко-
эффициента, называемого множителем Каруша–Куна–Таккера (ККТ), на функцию, 
показывающую, удовлетворяется ли ограничение. Если мы хотим, чтобы ограниче-
ние 
Ω
(
θ
) было меньше некоторой константы 
k
, то можем определить такую обобщен-
ную функцию Лагранжа:
ℒ
(
θ
, 
α
; 
X
, 
y
) = 
J
(
θ
; 
X
, 
y
)+ 
α
(
Ω
(
θ
) – 
k
). 
(7.26)
Решение задачи с ограничениями имеет вид:
θ
*
= 
ℒ
(
θ
, 
α
). 
(7.27)
Как описано в разделе 4.4, для решения этой задачи необходимо модифицировать 
и 
θ
, и 
α
. В разделе 4.5 был приведен пример линейной регрессии с 
L
2
-ограничением. 
Есть также много других процедур – в одних используется метод градиентного спус-
ка, в других аналитически ищутся точки, в которых градиент равен нулю, – но в лю-
бом случае 
α
должно увеличиваться, когда 
Ω
(