Я. Гудфеллоу, И. Бенджио, А. Курвилль

X
(train)
, 
y
(train)
.
Другая стратегия использования всех данных – оставить параметры, получен-
ные на первом раунде, и продолжить обучение, но уже на всех данных. Теперь у нас 
больше нет подсказок, после скольких шагов остановиться. Вместо этого мы сле-
дим за функцией потерь на контрольном наборе и продолжаем обучение, пока ее 
среднее значение не окажется меньше величины целевой функции, при которой 
сработала ранняя остановка. Эта стратегия позволяет избежать дорогостоящего 
повторного обучения модели с нуля, но ее поведение оставляет желать лучшего. 
Например, целевая функция может никогда не достичь нужного значения на конт-
рольном наборе, и тогда обучение не завершится. Формально эта стратегия описа-
на в алгоритме 7.3.
Ранняя остановка полезна также тем, что уменьшает вычислительную стоимость 
процедуры обучения. Помимо очевидного сокращения стоимости вследствие огра-
ничения числа итераций, она еще и обеспечивает преимущества регуляризации, не 
требуя включения дополнительных штрафов в функцию стоимости и вычисления 
градиентов этих добавочных членов.
Каким образом ранняя остановка выступает в роли регуляризатора.
Мы уже не 
раз отмечали, что ранняя остановка является стратегией регуляризации, но в обос-
нование этого заявления привели только кривые обучения, на которых ошибка на 
контрольном наборе имеет U-образную форму. А каков истинный механизм регуля-
ризации модели с помощью ранней остановки?
Алгоритм 7.3.
Метаалгоритм использования ранней остановки для определения 
того, при каком значении целевой функции начинается переобучение, с последую-
щим продолжением обучения до тех пор, пока не будет достигнуто это значение

---

Ранняя остановка 

217
Обозначим