Я. Гудфеллоу, И. Бенджио, А. Курвилль

смесовой плотностью
(mixture density networks). Выход в виде смеси 
n
гауссовых 
компонент описывается таким условным распределением вероятности:
(6.35)
Нейронная сеть должна давать три выхода: вектор, определяющий 
p
(c = 
i
| 
x
), мат-
рица, задающая 
μ
(
i
)
(
x
) для всех 
i
, и тензор, описывающий 
Σ
(
i
)
(
x
) для всех 
i
. Эти вы-
ходы должны удовлетворять различным ограничениям.
1. Компоненты смеси 
p
(c = 
i
| 
x
): образуют категориальное распределение 
n
ком-
понент, ассоциированное с латентной переменной
1
c, и обычно могут быть полу-
чены применением softmax к 
n
-мерному вектору; это гарантирует, что элементы 
выходного вектора положительны и в сумме дают 1.
2. Средние 
μ
(
i
)
(
x
): задают среднее значение (центр) 
i
-й гауссовой компоненты, ни-
какие ограничения на них не накладываются (обычно в этих выходных блоках 
нет никакой нелинейности). Если 
y
– 
d
-мерный вектор, то сеть должна выво-
дить матрицу 
n
×
d
, содержащую все 
n
этих 
d
-мерных векторов. Обучение средних 
с применением максимального правдоподобия несколько сложнее, чем обучение 
1
Мы считаем c латентной, потому что не наблюдаем ее в данных: зная вход 
x
и выход 
y
, не-
возможно уверенно сказать, какая гауссова компонента отвечает за