Я. Гудфеллоу, И. Бенджио, А. Курвилль

X
) для одного мини-пакета 
X
, одновременно с вычислением об-
новления для нескольких других мини-пакетов. Такие асинхронные параллельные 
распределенные подходы обсуждаются подробнее в разделе 12.1.3.
Интересным обоснованием мини-пакетного стохастического градиентного спуска 
является тот факт, что он происходит в направлении градиента истинной 
ошибки обоб-
щения
(уравнение 8.2), при условии что примеры не повторяются. В большинстве реа-
лизаций этого алгоритма набор данных перетасовывается один раз, после чего по нему 
производится несколько проходов. На первом проходе каждый мини-пакет использу-
ется для вычисления несмещенной оценки истинной ошибки обобщения. На втором 
проходе оценка становится смещенной, потому что получена повторной выборкой уже 
использованных значений, а не новых примеров из порождающего распределения.
Тот факт, что алгоритм стохастического градиентного списка действительно мини-
мизирует ошибку обобщения, отчетливее всего виден в онлайновом обучении, когда 
примеры или мини-пакеты выбираются из потока данных. Иными словами, обучае-
мая модель не получает обучающего набора фиксированного размера, а, подобно жи-
вому существу, в каждый момент времени видит новый пример; при этом каждый 
пример (
x
, 
y
) поступает из порождающего распределения 
p
data
(
x
, 
y
). В такой ситуации 
примеры никогда не повторяются, каждое испытание – честная выборка из 
p
data
.
Эквивалентность проще всего установить, когда 
x
и 
y
– дискретные величины. 
В таком случае ошибку обобщения (8.2) можно переписать в виде суммы:
(8.7)

---

Проблемы оптимизации нейронных сетей 

243
и точный градиент равен
(8.8)
Мы уже демонстрировали тот же факт для логарифмического правдоподобия 
в уравнениях (8.5) и (8.6); теперь мы видим, что это справедливо и для других функ-
ций 
L
. Аналогичный результат можно доказать для случая, когда 
x
и 
y
непрерывны, 
если наложить на 
p
data
и 
L
не слишком обременительные ограничения.
Таким образом, мы можем получить несмещенную оценку точного градиента 
ошибки обобщения, выбрав мини-пакет примеров {