Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
выбирается из 
p
(
y
) для заданного 
ω
. Тогда оценку 
b
можно восстановить, подста-
вив эти оценки в уравнение (20.68). В работе Mnih and Gregor (2014) предпочтение 
отдано использованию одного разделяемого (между всеми элементами 
ω
i
) выхода, 
обученного с меткой 
J
(
y
), а в качестве базового значения берется 
b
(
ω
) 
≈
E
p
(
y
)
[
J
(
y
)].
Методы снижения дисперсии были предложены в контексте обучения с подкре-
плением (Sutton et al., 2000; Weaver and Тao, 2001), как обобщение предшествующей 
работы для случая бинарного вознаграждения Dayan (1990). Примеры современного 
использования алгоритма REINFORCE со сниженной дисперсией в контексте глу-
бокого обучения см. в работах Bengio et al. (2013b), Mnih and Gregor (2014), Ba et al. 
(2014), Mnih et al. (2014), Xu et al. (2015). Помимо использования зависящего от вхо-
да базового значения 
b
(
ω
), в работе Mnih and Gregor (2014) установлено, что масштаб 
(
J
(
y
) – 
b
(
ω
)) можно регулировать во время обучения путем деления на его стандарт-
ное отклонение, оцененное с помощью скользящего среднего; получается своего рода 
адаптивная скорость обучения, которая противостоит эффекту важных вариаций 
абсолютной величины этого значения, имеющих место в процессе обучения. Авторы 
назвали эту технику эвристической 
нормировкой дисперсии
.
Основанные на алгоритме REINFORCE оценки можно интерпретировать как оце-
нивание градиента путем коррелирования выбора