Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
o
. В этом смысле 
ετ
ведет себя как величина, обратная коэффициенту снижения весов.
w
*
w
~
w
~
w
*
w
1
w
2
w
2
w
1
Рис. 7.4 

Результат ранней остановки. (
Слева
) Сплошными линиями 
показаны изолинии отрицательного логарифмического правдоподобия, 
штриховыми – траектория стохастического градиентного спуска, начатого 
из начала координат. Благодаря ранней остановке траектория заканчива-
ется не в точке 
w
*
, минимизирующей стоимость, а в более ранней точке 
w
~
. 
(
Справа
) Результат 
L
2
-регуляризации для сравнения. Штриховыми кругами 
показаны изолинии штрафа по норме 
L
2
, благодаря которому минимум пол-
ной функции стоимости оказывается ближе к началу координат, чем мини-
мум нерегуляризированной функции стоимости
Действительно, можно показать, что в случае простой линейной модели с квадра-
тичной функцией ошибки и обычного градиентного спуска ранняя остановка эквива-
лентна 
L
2
-регуляризации.
Для сравнения с классической 
L
2
-регуляризацией рассмотрим простую конфи-
гурацию, в которой единственными параметрами являются линейные веса (
θ
= 
w
). 

---

218 

 
Регуляризация в глубоком обучении 
Функцию стоимости 
J
можно смоделировать с помощью квадратичной аппроксима-
ции в окрестности эмпирического оптимума весов