Я. Гудфеллоу, И. Бенджио, А. Курвилль

снижения дисперсии
(Wilson, 1984; L’Ecuyer, 1994). Идея в том, чтобы модифи-
цировать оценку таким образом, что математическое ожидание остается неизменным, 
а дисперсия уменьшается. В контексте REINFORCE предложенные методы сниже-
ния дисперсии включают вычисление 
базового значения
, которое используется для 
смещения 
J
(
y
). Отметим, что любое смещение 
b
(
ω
), не зависящее от 
y
, не изменяет 
математического ожидания оценки градиента, потому что
(20.63)
(20.64)
(20.65)
а это означает, что
(20.66)
(20.67)
Далее, мы можем получить оптимальное значение 
b
(
ω
), вычислив дисперсию 
(
J
(
y
) – 
b
(
ω
))
относительно распределения 
p
(
y
) и минимизировав его от-
носительно 
b
(
ω
). В результате мы найдем, что оптимальные базовые значения 
b
*
(
ω
)
i
различаются для всех элементов 
ω
i
вектора 
ω
:

---

Ориентированные порождающие сети 

579
(20.68)
Таким образом, оценка градиента по 
ω
i
принимает вид
(20.69)
где 
b
(
ω
)
i
оценивает приведенное выше значение 
b
*
(
ω
)
i
. Обычно оценку 
b
полу-
чают, добавляя новые выходы в нейронную сеть и обучая их оценивать величины 
и 
для каждого элемента 
ω
. Эти дополнитель-
ные выходы можно обучить, взяв в качестве целевой функции среднеквадратическую 
ошибку и используя соответственно
и 
в качестве целей, ког-
да