Я. Гудфеллоу, И. Бенджио, А. Курвилль

507
лать 
h
глубоким представлением, закодировав 
x
в 
h
таким образом, чтобы марковская 
цепь в пространстве 
h
легче перемешивалась. Многие алгоритмы обучения представ-
лений, в т. ч. автокодировщики и ОМБ, имеют тенденцию порождать маргинальное 
распределение 
h
, более равномерное и более близкое к унимодальному, чем исходное 
распределение 
x
. Можно предположить, что это объясняется попыткой минимизиро-
вать ошибку реконструкции, используя все доступное пространство представления, 
поскольку минимизацию ошибки реконструкции по обучающим примерам проще 
осуществить, когда различные примеры легко различимы в 
h
-пространстве и потому 
хорошо разделены. В работе Bengio et al. (2013a) отмечено, что более глубокие стеки 
регуляризированных автокодировщиков или ОМБ дают маргинальные распределе-
ния в 
h
-пространстве верхнего уровня, которые выглядят более вытянутыми и более 
равномерными, причем промежуток между областями, соответствующими разным 
модам (в экспериментах – категориям), меньше. Обучение ОМБ в этом пространстве 
более высокого уровня привело к более быстрому перемешиванию мод при выборке 
по Гиббсу. Однако остается неясным, как воспользоваться этим наблюдением в целях 
улучшения обучения и выборки из глубоких порождающих моделей.
Несмотря на трудности перемешивания, методы Монте-Карло полезны и зачастую 
являются лучшими из имеющихся инструментов. На самом деле это основной инст-
румент борьбы с вычислительно неразрешимой статистической суммой в неориенти-
рованных моделях. Именно об этом пойдет речь в следующей главе.

---

Глава 
18