Я. Гудфеллоу, И. Бенджио, А. Курвилль

Оценивание статистической суммы на этапе обучения.
Хотя AIS принят в каче-
стве стандартного метода оценивания статистической суммы для многих неориен-
тированных моделей, он требует настолько большого объема вычислений, что ис-
пользовать его на этапе обучения невозможно. Изучались альтернативные стратегии, 
позволяющие вычислять оценку статистической суммы в процессе обучения.
Применив комбинацию мостиковой выборки, AIS с короткой цепочкой и парал-
лельное темперирование, авторы работы Desjardins et al. (2011) придумали, как про-
слеживать статистическую сумму ОМБ на всем протяжении обучения. Стратегия 
основана на хранении независимых оценок статистических сумм ОМБ при каждом 
значении температуры в схеме параллельного темперирования. Авторы объединили 
оценки мостиковой выборки отношений статистических сумм соседних цепочек (по-
лученных параллельным темперированием) с оценками AIS в разные моменты вре-
мени и в результате получили оценку статистической суммы с низкой дисперсией на 
каждой итерации обучения.
Описанные в этой главе средства дают много способов преодолеть проблему вы-
числительно неразрешимых статистических сумм, но в обучении и использовании 
порождающих моделей есть и другие трудности. Самая главная из них – проблема 
неразрешимого вывода, к которой мы и переходим.

---

Глава 
19
Приближенный вывод
Многие вероятностные модели сложно обучить из-за трудностей вывода. В контекс-
те глубокого обучения у нас обычно имеется множество наблюдаемых переменных 
v
и множество латентных переменных 
h
. Говоря о трудности вывода, мы обычно имеем 
в виду проблему вычисления 
p
(
h
| 
v
) или математических ожиданий относительно 
этого распределения. Такие операции необходимы, например, при обучении с ис-
пользованием максимального правдоподобия.
Многие простые графические модели с одним скрытым слоем, например ограни-
ченные машины Больцмана и вероятностный метод главных компонент, определены 
таким образом, что операции вывода типа вычисления 
p
(