Я. Гудфеллоу, И. Бенджио, А. Курвилль

v
в прибли-
женное распределение 
q
*
= arg max
q
ℒ
(
v
, 
q
). Коль скоро многошаговая итеративная 
процедура рассматривается просто как функция, мы можем аппроксимировать ее 
нейронной сетью, реализующей аппроксимацию 
f
ˆ(
v
, 
θ
).
19.5.1. Бодрствование-сон
Одна из основных трудностей при обучении модели выводу 
h
из 
v
состоит в том, что 
у нас нет помеченного обучающего набора. Мы имеем 
v
, но не знаем соответствую-
щего 
h
. Отображение 
v
в 
h
зависит от выбора семейства моделей и эволюционирует 
по мере того, как в процессе обучения изменяется 
θ
. В алгоритме бодрствования-сна 
(wake-sleep) (Hinton et al., 1995b; Frey et al., 1996) эта проблема решается путем вы-
борки как 
h
, так и 
v
из модельного распределения. Например, в ориентированной 
модели это легко сделать с помощью предковой выборки, начинающейся в 
h
и закан-
чивающейся в 
v
. Тогда сеть вывода можно обучить выполнению обратного отобра-
жения: предсказывать, какое 
h
стало причиной данного 
v
. Основной недостаток этого 
подхода – в том, что так можно обучить сеть вывода только на значениях 
v
, имеющих 
высокую вероятность в модели. На ранних стадиях обучения модельное распределе-
ние мало напоминает распределение данных, поэтому сеть вывода не получит воз-
можности обучиться на примерах, похожих на данные.
В разделе 18.2 мы привели возможное объяснение роли сновидений в жизни че-
ловека и животных: сны могут поставлять примеры для отрицательной фазы, кото-
рыми алгоритмы обучения методами Монте-Карло пользуются для аппроксимации 
отрицательного градиента логарифма статистической суммы в неориентированных 
моделях. Другое возможное объяснение биологических сновидений состоит в том, 
что оно поставляет примеры из распределения 
p
(