Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
, 
v
), которые можно использовать, 

---

Обученный приближенный вывод 

547
чтобы обучить сеть вывода предсказанию 
h
по 
v
. В некоторых отношениях это объ-
яснение лучше того, в котором фигурирует статистическая сумма. Методы Монте-
Карло в общем случае показывают неважные результаты, если в течение нескольких 
шагов работают только в положительной фазе градиента, а затем в течение несколь-
ких шагов – только в отрицательной фазе. Люди и животные обычно несколько ча-
сов подряд бодрствуют, а затем несколько часов спят. Не вполне понятно, как такой 
график мог бы помочь обучению неориентированной модели методами Монте-Кар-
ло. С другой стороны, алгоритмы обучения, основанные на максимизации 
ℒ
, могут 
в течение длительного периода работать над улучшением 
q
, а затем в течение столь 
же длительного периода над улучшением 
θ
. Если роль биологических сновидений 
состоит в том, чтобы обучить сеть предсказанию 
q
, то это объясняет, как животные 
умудряются несколько часов бодрствовать (чем дольше, тем больше разрыв между 
ℒ
и log 
p
(
v
), но 
ℒ
все время остается нижней границей) и несколько часов спать (во 
время сна сама порождающая модель не изменяется), не причиняя вреда своим внут-
ренним моделям. Конечно, все это чисто умозрительные заключения, нет никаких 
доказательств того, что сон преследует именно такие цели. Сновидения могут так-
же служить целям обучения с подкреплением, а не вероятностного моделирования, 
посредством выполнения выборки синтетического опыта из переходной модели жи-
вотного, на основе которой обучается стратегия поведения животного. А возможно, 
что цель сна совершенно иная, и специалисты по машинному обучению еще даже не 
приблизились к ее пониманию.