Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
с соответствующими значениями 
J
(
y
). Если хорошее значение 
y
при текущей параметризации маловероятно, то может 
потребоваться много времени на то, чтобы случайно получить его и необходимый 
сигнал о том, что эту конфигурацию следует подкрепить.
20.10. Ориентированные порождающие сети
Как отмечалось в главе 16, ориентированные графические модели составляют важ-
ный класс графических моделей. Но, несмотря на их популярность в широком сооб-
ществе машинного обучения, в более узком кругу специалистов по глубокому обуче-
нию примерно до 2013 года их затмевали неориентированные модели типа ОМБ.

---

580 

 
Глубокие порождающие модели 
В этом разделе мы рассмотрим некоторые стандартные графические модели, ко-
торые традиционно ассоциируются с глубоким обучением. Мы уже описывали глу-
бокие сети доверия, представляющие собой частично ориентированную модель. Мы 
также описывали модели разреженного кодирования, которые можно считать мелки-
ми ориентированными порождающими моделями. В контексте глубокого обучения 
они часто используются для обучения признакам, хотя оставляют желать лучшего 
как метод генерации примеров и оценивания плотности. Теперь мы опишем различ-
ные виды глубоких полностью ориентированных моделей.
20.10.1. Сигмоидные сети доверия
Сигмоидная сеть доверия (Neal, 1990) – простой вид ориентированной графической 
модели со специфическим условным распределением вероятности. В общем случае 
такую сеть можно представлять себе как вектор бинарных состояний 
s
, каждый эле-
мент которого зависит от своих предков:
(20.70)
В самом распространенном случае сигмоидная сеть доверия состоит из большого 
числа слоев, а предковая выборка проходит через много скрытых слоев и в конечном 
итоге генерирует видимый слой. Эта структура очень похожа на глубокую сеть дове-
рия – с тем отличием, что блоки в начале процесса выборки независимы друг от друга, 
а не выбираются из ограниченной машины Больцмана. Такая структура интересна по 
целому ряду причин, в частности потому, что является универсальным аппроксима-
тором распределений вероятности видимых блоков в том смысле, что может аппрок-
симировать любое распределение вероятности бинарных величин с произвольной 
точностью при наличии достаточно большого числа слоев, даже если ширина каждо-
го слоя ограничена размерностью видимого слоя (Sutskever and Hinton, 2008).
Хотя в сигмоидной сети доверия генерация выборки видимых слоев очень эффек-
тивна, о большинстве других операций этого не скажешь. Вывод скрытых блоков при 
условии видимых блоков вычислительно неразрешим. Как и вывод среднего поля, 
поскольку для вычисления вариационной нижней границы нужно знать математи-
ческие ожидания клик, а они охватывают слои целиком. Из-за трудности этой проб-
лемы ориентированные дискретные сети не получили широкого распространения.
Один из подходов к выводу в сигмоидной сети доверия – построить другую ниж-
нюю границу специально для таких сетей (Saul et al., 1996). Но этот подход приме-
нялся только к совсем небольшим сетям. Другое решение – воспользоваться меха-
низмами обученного вывода из раздела 19.5. Машина Гельмгольца (Dayan et al., 1995; 
Dayan and Hinton, 1996) – это сигмоидная сеть доверия в сочетании с сетью вывода, 
предсказывающей параметры распределения среднего поля скрытых блоков. В совре-
менных подходах к сигмоидным сетям доверия (Gregor et al., 2014; Mnih and Gregor, 
2014) по-прежнему используется эта идея сети вывода. Но все эти методы остаются 
трудными вследствие дискретной природы латентных переменных. Нельзя просто 
выполнить обратное распространение через выход сети вывода, приходится вместо 
этого использовать относительно ненадежные механизмы обратного распростране-
ния через дискретные процессы выборки, как описано в разделе 20.9.1. Недавние под-
ходы на основе выборки по значимости, алгоритма бодрствования-сна с изменением 

---

Ориентированные порождающие сети 

581
весом (Bornschein and Bengio, 2015) и двусторонних машин Гельмгольца (Bornschein 
et al., 2015) сделали возможным быстрое обучение сигмоидных сетей доверия и на 
эталонных задачах достигли качества, не уступающего лучшим образцам.
Частным случаем сигмоидных сетей доверия являются сети без латентных пере-
менных. В этом случае обучение эффективно, поскольку нет нужды исключать ла-
тентные переменных из правдоподобия. Так называемые авторегрессивные сети 
обобщают эту сеть доверия с полной видимостью на другие виды переменных, поми-
мо бинарных, и на другие структуры условных распределений, помимо лог-линейных 
связей. Авторегрессивные сети описаны в разделе 20.10.7.