Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
, 
h
). В работе Alain et al. (2015) показано, что обучение кодировщика и декоде-
ра как шумоподавляющего автокодировщика делает их асимптотически совместимы-
ми (при достаточной емкости и количестве обучающих примеров).
14.5. Шумоподавляющие автокодировщики
Шумоподавляющим автокодировщиком
(DAE) называется автокодировщик, кото-
рый получает на входе искаженные данные и обучается предсказывать истинные, не-
искаженные данные.
Процедура обучения DAE показана на рис. 14.3. Мы вводим искажающий процесс 
C
(
x~
| 
x
), который представляет условное распределение искаженных примеров 
x~
при 
условии истинных примеров 
x
. Затем автокодировщик обучается 
распределению 
реконструкции
p
reconstruct
(
x
| 
x~
), которое оценивается по обучающим парам (
x
, 
x
~
) сле-
дующим образом:
1) выбрать обучающий пример 
x
из обучающих данных;
2) выбрать искаженную версию 
x
~
из 
C
(
x~
| 
x
= 
x
);
3) использовать (
x
, 
x
~
) в качестве обучающего примера для оценки распределения 
реконструкции автокодировщика 
p
reconstruct
(
x
| 
x
~
) = 
p
decoder
(
x
| 
h
), где 
h
– выход 
кодировщика 
f
(
x
~
), а 
p
decoder
обычно определяется декодером 
g
(
h
).
Как правило, мы можем просто выполнить приближенную градиентную миними-
зацию (например, мини-пакетный градиентный спуск) отрицательного логарифми-
ческого правдоподобия –log 
p
decoder
(