Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
; 
X
, 
y
), 
(7.2)
а градиент по параметрам:
∇
w 
J
~
(
w
; 
X
, 
y
) = 
α
w
+ 
∇
w 
J
(
w
; 
X
, 
y
). 
(7.3)
Один шаг обновления весов с целью уменьшения градиента имеет вид:
w
⟵
w
– 
ε
(
α
w
+ 
∇
w 
J
(
w
; 
X
, 
y
)). 
(7.4)
1
В общем случае мы могли бы путем регуляризации отдавать предпочтение параметрам 
вблизи любой наперед заданной точки пространства и, как ни странно, получить эффект 
регуляризации. Но результаты оказываются лучше, если эта точка близка к истинной, а нуль 
является разумным значением по умолчанию, когда мы не знаем, положительно истинное 
значение или отрицательно. Поскольку в большинстве случае при регуляризации стремятся 
сделать параметры близкими к нулю, мы будем рассматривать только этот частный случай.

---

202 

 
Регуляризация в глубоком обучении 
То же самое можно переписать в виде:
w
⟵
(1 – 
εα
)
w
– 
ε
∇
w 
J
(
w
; 
X
, 
y
)). 
(7.5)
Как видим, добавление члена сложения весов изменило правило обучения: теперь 
мы на каждом шаге умножаем вектор весов на постоянный коэффициент, меньший 1, 
перед тем как выполнить стандартное обновление градиента. Итак, мы описали, что 
происходит на одном шаге. А в целом в процессе обучения?
Еще упростим анализ, предположив квадратичную аппроксимацию целевой 
функции в окрестности того значения весов, при котором достигается минимальная 
стоимость обучения без регуляризации,