Я. Гудфеллоу, И. Бенджио, А. Курвилль

h 
ℒ
(
v
, 
θ
, 
h
ˆ) = 0. Мы не можем эффективно решить это уравнение относительно 
всех компонент 
h
ˆ одновременно. Но его можно решить для одной переменной:
= 0. 
(19.37)
Таким образом, мы можем итеративно решать уравнение для 
i
= 1, …, 
m
и повто-
рять цикл, пока не будет удовлетворен критерий сходимости. Типичный критерий 
говорит, что нужно остановиться, когда по завершении полного цикла обновления 
ℒ
улучшается не больше, чем на заданную величину, или когда 
h
ˆ изменяется не больше, 
чем на заданную величину.
Итерационное решение уравнений неподвижной точки среднего поля – это общий 
прием, который может приводить к быстрому вариационному выводу для широкого 
класса моделей. Для конкретности покажем, как все это выглядит в случае модели 
бинарного разреженного кодирования. Прежде всего необходимо выписать выраже-
ние для производных по 
h
ˆ
i
. Для этого подставим выражение (19.36) в левую часть 
уравнения (19.37):
(19.38)
(19.39)
(19.40)
= log
σ
(
b
i
) – log
h
ˆ
i
– 1 + log(1 – 
h
ˆ
i
) + 1 – log
σ
(–
b
i
) 
(19.41)
(19.42)
(19.43)
Чтобы применить правило обновления уравнений неподвижной точки, находим 
h
ˆ
i
, 
обращающее выражение (19.43) в 0:
(19.44)
Теперь мы видим, что существует тесная связь между рекуррентными нейронными 
сетями и выводом в графических моделях. Точнее говоря, уравнения неподвижной 
точки среднего поля определяют рекуррентную нейронную сеть, задача которой – 
выполнение вывода. Мы показали, как вывести эту сеть из описания модели, но мож-
но также обучать сеть вывода непосредственно. В главе 20 изложено несколько идей, 
относящихся к этой теме.
В случае бинарного разреженного кодирования мы видим, что связь в рекуррент-
ной сети, описываемой уравнением (19.44), заключается в повторном обновлении 

---

Вариационный вывод и обучение 
