Я. Гудфеллоу, И. Бенджио, А. Курвилль

Рис. 20.9 

Нейронная авторегрессивная сеть предсказывает 
i
-ю пере-
менную 
x
i
по 
i
– 1
предыдущим, но параметризована так, что признаки (груп-
пы скрытых блоков, обозначенные 
h
i
), являющиеся функциями от 
x
1
, 
…
, 
x
i
, 
можно повторно использовать для предсказания всех последующих пере-
менных 
x
i
+1
, 
x
i
+2
, 
…
, 
x
d
Каждое 
P
(
x
i
| 
x
i
–1
, …, 
x
1
) может представлять условное распределение, если выходы ней-
ронной сети будут предсказывать 
параметры
условного распределения 
x
i
, как обсужда-
лось в разделе 6.2.1.1. Хотя первоначально авторегрессивные сети работали с чисто дис-
кретными многомерными данными (с сигмоидным выходным блоком для случайных 
величин с распределением Бернулли или softmax-блоком для величин с категориаль-
ным распределением), они естественно обобщаются на непрерывные величины или сов-
местные распределения, включающие как дискретные, так и непрерывные величины.
20.10.10. NADE
Нейронный авторегрессивный оцениватель плотности
(neural auto-regressive density 
estimator – NADE) – недавно появившаяся и уже ставшая очень успешной форма 
нейронной авторегрессивной сети (Larochelle and Murray, 2011). Связность в ней та-
кая же, как в оригинальной нейронной авторегрессивной сети из работы Bengio and 
Bengio (2000b), но введена дополнительная схема разделения параметров, показан-
ная на рис. 20.10. Параметры скрытых блоков из разных групп 
j