Я. Гудфеллоу, И. Бенджио, А. Курвилль

14.4. Стохастические кодировщики и декодеры
Автокодировщики – это просто сети прямого распространения. Те же функции по-
терь и типы выходных блоков, что применяются в традиционных сетях прямого рас-
пространения, можно использовать и в автокодировщиках.
Как было сказано в разделе 6.2.2.4, общая стратегия проектирования выходных 
блоков и функции потерь в сети прямого распространения заключается в том, чтобы 
определить выходное распределение 
p
(
y
| 
x
) и минимизировать отрицательное лога-
рифмическое правдоподобие –log 
p
(
y
| 
x
). В такой постановке 
y
– это вектор целей, 
например меток классов.
В автокодировщике 
x
является не только входом, но и целью. Но тем не менее 
мы можем применить тот же механизм, что и раньше. Можно считать, что декодер 
дает условное распределение 
p
decoder
(
x
| 
h
) при условии скрытого кода 
h
. Тогда можно 
обучить автокодировщик путем минимизации –log 
p
decoder
(
x
| 
h
). Точная форма этой 
функции потерь будет зависеть от формы декодера. Как и в традиционных сетях 
прямого распространения, когда 
x
принимает вещественные значения, мы обычно 
используем линейные выходные блоки для параметризации среднего нормального 
распределения. В этом случае отрицательное логарифмическое правдоподобие дает 
критерий среднеквадратической ошибки. Аналогично бинарным значениям 
x
соот-
ветствует распределение Бернулли, параметры которого задаются сигмоидным вы-
ходным блоком, дискретным значениям