Я. Гудфеллоу, И. Бенджио, А. Курвилль

Xw
– 
y
)
⏉
(
Xw
– 
y
). 
(7.14)
После добавления 
L
2
-регуляризации целевая функция принимает вид:
(
Xw
– 
y
)
⏉
(
Xw
– 
y
) + 
1
/
2
α
w
⏉
w
. 
(7.15)
В результате нормальные уравнения, из которых ищется решение:
w
= (
X
⏉
X
)
–1
X
⏉
y 
(7.16)

---

204 

 
Регуляризация в глубоком обучении 
принимают вид
w
= (
X
⏉
X
+ 
α
I
)
–1
X
⏉
y
.
 
(7.17)
Матрица 
X
⏉
X
в уравнении (7.16) пропорциональна ковариационной матрице 
(1/
m
)
X
⏉
X
. Применение 
L
2
-регуляризации заменяет эту матрицу на (
X
⏉
X
+ 
α
I
)
–1
в уравнении (7.17). Новая матрица отличается от исходной только прибавлением 
α
ко всем диагональным элементам. Диагональные элементы этой матрицы соответ-
ствуют дисперсии каждого входного признака. Таким образом, 
L
2
-регуляризация за-
ставляет алгоритм обучения «воспринимать» вход 
X
как имеющий более высокую 
дисперсию и, следовательно, уменьшать веса тех признаков, для которых ковариация 
с выходными метками мала, по сравнению с добавленной дисперсией.
7.1.2. 
L
1
-регуляризация
Регуляризация по норме 
L
2
– самая распространенная форма снижения весов, но есть 
и другие способы штрафовать за величину параметров модели. Одним из них явля-
ется 
L
1
-регуляризация.
Формально 
L
1
-регуляризация параметров модели 
w
определяется по формуле
(7.18)
т. е. как сумма абсолютных величин отдельных параметров
1
. Обсудим влияние 
L
1
-ре-
гу ляризации на простую модель линейной регрессии без параметра смещения – ту 
самую, что рассматривалась в ходе анализа 
L
2
-регуляризации. Особенно нас инте-
ресуют различия между двумя видами регуляризации. Как и в предыдущем случае, 
сила регуляризации контролируется путем умножения штрафа на положительный 
гиперпараметр 
α
. Таким образом, регуляризированная целевая функция 
J
~
(
w
; 
X
, 
y
) 
описывается формулой
J
~
(
w
; 
X
, 
y
) = 
α
||
w
||
1
+ 
J
(
w
; 
X
, 
y
), 
(7.19)
а ее градиент (точнее, частичный градиент) равен
∇
w
J
~
(
w
; 
X
, 
y
) = 
α
 
sign(