Я. Гудфеллоу, И. Бенджио, А. Курвилль

X
(train)
и 
y
(train)
обучающий набор.
Разделить 
X
(train)
и 
y
(train)
на (
X
(subtrain)
, 
X
(valid)
) и (
y
(subtrain)
, 
y
(valid)
) соответственно.
Выполнить обучение с ранней остановкой (алгоритм 7.1), начав со случайных 
параметров 
θ
и используя 
X
(subtrain)
, 
y
(subtrain)
в качестве обучающих данных, а 
X
(valid)
и 
y
(valid)
в качестве контрольных. При этом обновляется 
θ
.
ε
⟵
J
(
θ
, 
X
(subtrain)
, 
y
(subtrain)
)
while
J
(
θ
, 
X
(valid)
, 
y
(valid)
) > 
ε
do
Выполнить 
n
шагов обучения на наборе 
X
(train)
, 
y
(train)
.
end while
В работах Bishop (1995a) и Sj
ö
berg and Ljung (1995) утверждается, что благодаря 
ранней остановке процедура оптимизации ограничивается просмотром сравнитель-
но небольшой области пространства параметров в окрестности начального значения 
параметров 
θ
o
, как показано на рис. 7.4. Точнее, допустим, что выбрано 
τ
шагов опти-
мизации (что соответствует 
τ
итерациям обучения) и скорость обучения 
ε
. Произве-
дение 
ετ
можно рассматривать как меру эффективной емкости. В предположении, что 
градиент ограничен, наложение ограничений на число итераций и скорость обучения 
лимитируют область пространства параметров, достижимую из