Я. Гудфеллоу, И. Бенджио, А. Курвилль

5.9. Стохастический градиентный спуск
Почти всё глубокое обучение основано на одном очень важном алгоритме: 
стохасти-
ческом градиентном спуске
(СГС). Это обобщение алгоритма градиентного спуска, 
описанного в разделе 4.3.
В машинном обучении постоянно возникает одна и та же проблема: большой 
обучаю щий набор необходим для более качественного обобщения, но обучение на 
нем обходится дорого с точки зрения вычислений.
Функция стоимости, применяемая в алгоритмах машинного обучения, часто пред-
ставляется в виде суммы по всем примерам некоторой функции потерь, определен-
ной для одного примера. Так, отрицательное условное логарифмическое правдоподо-
бие обучающих данных можно записать в виде:
(5.96)
где 
L
– потеря на одном примере 
L
(
x
, 
y
, 
θ
) = –log 
p
(
y
| 
x
; 
θ
).

---

Стохастический градиентный спуск 

139
Для таких аддитивных функций потерь метод градиентного спуска вычисляет вы-
ражение
(5.97)
Вычислительная сложность этой операции составляет 
O
(
m
). Если обучающий на-
бор содержит миллиарды примеров, то время одного шага вычисления градиента ста-
новится недопустимо большим.
Идея метода СГС состоит в том, что градиент – это математическое ожидание, 
и, следовательно, его можно оценить по небольшому множеству примеров. Точнее, 
на каждом шаге алгоритма мы можем взять 
мини-пакет
(minibatch) – небольшую 
равномерную выборку из обучающего набора 
𝔹
= {
x
(1)
, …, 
x
(
m
′
)
}. Размер мини-паке-
та 
m
′
обычно составляет от одной до нескольких сотен. Важно, что 
m
′
, как правило, 
фиксируется, т. е. не изменяется с ростом размера обучающего набора 
m
. Мы можем 
аппроксимировать многомиллиардный обучающий набор, производя вычисления 
только на сотне примеров.
Оценку градиента дает следующее выражение:
(5.98)
в котором используются только примеры из мини-пакета 
𝔹
. Затем алгоритм стохас-
тического градиентного спуска следует в направлении градиента: