Я. Гудфеллоу, И. Бенджио, А. Курвилль

19.5.2. Другие формы обученного вывода
Стратегия обученного приближенного вывода применялась и к другим моделям. 
В работе Salakhutdinov and Larochelle (2010) показано, что один проход обучен-
ной сети вывода может дать результаты быстрее, чем итеративное решение уравне-
ний неподвижной точки среднего поля в глубоких машинах Больцмана. Процедура 
обуче ния основана на выполнении сети вывода, затем одном шаге среднего поля для 
улучшения оценок и обучении сети вывода формировать на выходе эту уточненную 
оценку вместо оригинальной.
В разделе 14.8 мы видели, что модель предсказательной разреженной декомпозиции 
обучает мелкую сеть кодирования предсказывать разреженный код для входа. Это мож-
но рассматривать как гибрид автокодировщика и разреженного кодирования. Можно 
придумать вероятностную семантику модели, в рамках которой кодировщик будет 
выполнять обученный приближенный MAP-вывод. Поскольку кодировщик мелкий, 
предсказательная разреженная декомпозиция не сможет реализовать ту конкуренцию 
между блоками, с которой мы встречались при описании вывода среднего поля. Однако 
с этой проблемой можно справиться, обучив глубокий кодировщик выполнять обучен-
ный приближенный вывод, как в методе ISТA (Gregor and LeCun, 2010b).
Обученный приближенный вывод в последнее время стал одним из преобладаю-
щих подходов к порождающему моделированию – в форме вариационного автокоди-
ровщика (Kingma, 2013; Rezende et al., 2014). В этом элегантном подходе нет нужды 
явно конструировать цели для сети вывода. Вместо этого сеть вывода просто исполь-
зуется для определения 
ℒ
, а затем параметры этой сети адаптируются для увеличения 
ℒ
. Эта модель подробно описана в разделе 20.10.3.
С помощью приближенного вывода можно обучать и использовать широкий 
спектр моделей, многие из которых описаны в следующей главе.

---