Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
) + log 
p
(
v
| 
h
) – log 
q
(
h
| 
v
)] 
(19.31)
(19.32)
(19.33)
(19.34)
(19.35)
(19.36)
Выглядят эти уравнения не очень эстетично, но показывают, что 
ℒ
можно выразить 
с помощью небольшого числа простых арифметических операций. Поэтому нижняя 
граница свидетельств 
ℒ
разрешима. Мы можем использовать 
ℒ
вместо неразрешимо-
го логарифмического правдоподобия.
В принципе, можно было бы просто выполнить градиентное восхождение по 
v
и 
h
, 
получив тем самым вполне приемлемую комбинацию алгоритмов вывода и обуче-
ния. Но обычно так не поступают по двум причинам. Во-первых, понадобилось бы 
хранить 
h
ˆ для каждого 
v
, а мы все же предпочитаем алгоритмы, не требующие вы-
деления памяти для каждого примера. Трудно масштабировать алгоритмы обучения 
на миллиарды примеров, если для каждого необходимо хранить динамически обнов-
ляемый вектор. Во-вторых, хотелось бы очень быстро выделять признаки 
h
ˆ, чтобы 
распознавать содержимое 
v
. В настоящей развернутой системе требуется вычислять 
h
ˆ в режиме реального времени.
По этим причинам градиентное восхождение обычно не применяется для вычис-
ления параметров среднего поля 
h
ˆ. Вместо этого мы производим их быструю оценку 
с помощью уравнений неподвижной точки.

---

540 

 
Приближенный вывод
Идея этих уравнений – в том, что мы ищем локальный максимум относительно 
h
ˆ, 
где 
∇