Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
| 
h
). Если кодировщик детерминирован, то шу-
моподавляющий автокодировщик является сетью прямого распространения, и для 
его обучения можно применить все те же методы, что для любой сети прямого рас-
пространения.
Таким образом, мы можем считать, что DAE применяет метод стохастического гра-
диентного спуска к следующему математическому ожиданию:
–
𝔼
x
~
p
ˆ
data
(
x
)
𝔼
x
~~
C
(
x
~
|
x
)
log 
p
decoder
(
x
| 
h
= 
f
(
x
~
)), 
(14.14)
где 
p
ˆ
data
(
x
) – распределение обучающих данных.

---

430 

 
Автокодировщики
Рис. 14.3 

Граф вычислений функции стоимости для шумоподавляю-
щего автокодировщика, обученного реконструировать чистые данные 
x
по искаженным 
x
~
. Это достигается путем минимизации потери 
L
= 
= –log 
p
decoder
(
x
| 
h
= 
f
(
x
~
))
, где 
x
~
– искаженная версия примера 
x
, полученная 
посредством заданного искажающего процесса 
C
(
x
~
| 
x
)
. Обычно 
p
decoder
яв-
ляется факторным распределением, средние параметры которого порож-
даются сетью прямого распространения 
g