Я. Гудфеллоу, И. Бенджио, А. Курвилль

214 

 
Регуляризация в глубоком обучении 
Время (периоды)
Потеря на обучающем наборе
Потеря на контрольном наборе
Функция потерь 
(отрицательное 
логарифмическое 
правдоподобие)
0,20
0,15
0,10
0,05
0,00
0
50
100
150
200
250
Рис. 7.3 

Кривые обучения, показывающие изменение отрица-
тельного логарифмического правдоподобия со временем (пред-
ставленного в виде количества итераций обучения на наборе дан-
ных, или периодов). В данном случае обучалась maxout-сеть на 
наборе MNIST. Отметим, что целевая функция монотонно убывает, 
но средняя потеря на контрольном наборе в какой-то момент снова 
начинает расти, так что образуется U-образная кривая
Эта стратегия называется 
ранней остановкой
. Пожалуй, это самая распространен-
ная форма регуляризации в машинном обучении. Своей популярностью она обязана 
простоте и эффективности.
Алгоритм 7.1.
Метаалгоритм ранней остановки для определения оптимального 
времени обучения. Эта общая стратегия хорошо работает для широкого круга ал-
горитмов обучения и способов оценки ошибки на контрольном наборе.
Обозначим 
n
число шагов между вычислениями ошибки.
Обозначим 
p
«терпение» – сколько раз разрешается наблюдать ухудшение 
ошибки на контрольном наборе, прежде чем отказаться от продолжения.
Обозначим 
θ
o
начальные параметры.
θ
⟵ 
θ
o
i
⟵
0
j
⟵
0
v
⟵
∞
θ
*
⟵
θ
i
*
⟵
i
while
j
< 
p