Я. Гудфеллоу, И. Бенджио, А. Курвилль

216 

 
Регуляризация в глубоком обучении 
начальная фаза с ранней остановкой завершилась, и тогда уже включить все обучаю-
щие данные. На этом втором раунде обучения применяются две основные стратегии.
Первая (алгоритм 7.2) – снова инициализировать модель и заново обучить ее на 
всех данных. Но при этом мы ограничиваемся числом шагов, которое было приз-
нано оптимальным в первом раунде. Тут есть некоторые тонкости. Например, не 
существует хорошего способа решить, следует ли при повторном обучении про-
изводить столько же обновлений параметров или столько же проходов по набору 
данных, как в первом раунде. Во втором раунде каждый проход по набору данных 
приводит к большему числу обновлений параметров, потому что сам обучающий 
набор больше.
Алгоритм 7.2.
Метаалгоритм использования ранней остановки для определения 
времени обучения с последующим повторным обучением на всех данных
Обозначим 
X
(train)
и 
y
(train)
обучающий набор.
Разделить 
X
(train)
и 
y
(train)
на (
X
(subtrain)
, 
X
(valid)
) и (
y
(subtrain)
, 
y
(valid)
) соответственно.
Выполнить обучение с ранней остановкой (алгоритм 7.1), начав со случайных 
параметров 
θ
и используя 
X
(subtrain)
, 
y
(subtrain)
в качестве обучающих данных, а 
X
(valid)
и 
y
(valid)
в качестве контрольных. В результате возвращается оптимальное число 
шагов 
i
*
.
Снова присвоить 
θ
случайные значения.
Выполнить 
i
* 
шагов обучения на наборе