Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
будет обозначать все веса, на 
которые распространяется штраф по норме, а вектор 
θ
– все параметры, включая как 
w
, так и нерегуляризированные.
В контексте нейронных сетей иногда желательно использовать штрафы с разными 
коэффициентами 
α
в каждом слое. Поскольку подбор правильных значений несколь-
ких гиперпараметров иногда обходится дорого, все равно разумно использовать одно 
и то же снижение весов во всех слоях, просто чтобы уменьшить размер пространства 
поиска.
7.1.1. Регуляризация параметров по норме 
L
2
В разделе 5.2.2 мы уже встречали один из самых простых и распространенных видов 
штрафа параметров – по норме 
L
2
, – который часто называют 
снижением весов
. Цель 
такой стратегии регуляризации – выбирать веса, близкие к началу координат
1
, за счет 
прибавления к целевой функции члена регуляризации 
Ω
(
θ
) = 
1
/
2
||
w
||
2
2
. В других науч-
ных сообществах регуляризацию по норме 
L
2
называют также 
гребневой регрессией
, 
или 
регуляризацией Тихонова
.
Получить качественное представление о поведении регуляризации методом сни-
жения весов можно, изучив градиент регуляризированной целевой функции. Для 
простоты опустим параметр смещения, т. е. будем считать, что 
θ
совпадает с 
w
. Пол-
ная целевая функция в такой модели имеет вид:
J
~
(
w
; 
X
, 
y
) = (
α
/2)
w
⏉
w
+ 
J
(