Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
(1)
, …, 
x
(
m
)
} с соответственными 
метками 
y
(
i
)
из порождающего распределения 
p
data
, а затем вычислив для этого мини-
пакета градиент функции потерь относительно параметров:
(8.9)
Для обновления 
θ
в направлении 
g
�
выполняется СГС по ошибке обобщения.
Разумеется, эта интерпретация справедлива, только когда примеры не используются 
повторно. Тем не менее обычно для получения наилучших результатов стоит сделать не-
сколько проходов по обучающему набору, если только он не слишком велик. Если ис-
пользуется несколько таких периодов, то лишь в первом спуск происходит в направле-
нии несмещенного градиента ошибки обобщения, но, конечно, дополнительные периоды 
обычно дают достаточный выигрыш в плане уменьшения ошибки обучения, чтобы пере-
весить вред от увеличения разрыва между ошибкой обучения и ошибкой тестирования.
В тех случаях, когда размер набора данных растет быстрее, чем вычислительные 
ресурсы для его обработки, все чаще в машинном обучении переходят к практике, 
когда каждый обучающий пример используется ровно один раз, или даже произво-
дится неполный проход по обучающему набору. Если обучающий набор очень велик, 
то переобучение перестает быть проблемой, и на первый план выходят проблемы не-
дообучения и вычислительной эффективности. См. также работу Bottou and Bous-
quet (2008), где обсуждается влияние вычислительных узких мест на ошибку обоб-
щения при увеличении числа обучающих примеров.
8.2. Проблемы оптимизации нейронных сетей
В общем случае оптимизация – чрезвычайно трудная задача. Традиционно в машин-
ном обучении избегали сложностей общей оптимизации за счет тщательного выбора 
целевой функции и ограничений, гарантирующих выпуклость задачи оптимизации. 
При обучении нейронных сетей приходится сталкиваться с общим невыпуклым слу-
чаем. Но даже выпуклая оптимизация не обходится без осложнений. В этом разделе 
мы дадим обзор нескольких наиболее заметных проблем оптимизации, возникающих 
в процессе обучения глубоких моделей.