Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
– softmax-распределение и т. д. Как прави-
ло, выходные переменные считаются условно независимыми при условии 
h
, чтобы 
это распределение вероятности было проще вычислить, но существуют методы, на-
пример выход в виде смеси распределений, которые позволяют моделировать корре-
лированный выход с приемлемыми вычислительными затратами.
Чтобы еще дальше отойти от сетей прямого распространения, мы можем обобщить 
понятие 
функции кодирования
f
(
x
) на 
распределение кодирования
p
encoder
(
h
| 
x
), как 
показано на рис. 14.2. 
Любая модель с латентными переменными 
p
model
(
h
, 
x
) определяет стохастический 
кодировщик
p
encoder
(
h
| 
x
) = 
p
model
(
h
| 
x
) 
(14.12)
и стохастический декодер
p
decoder
(
x
| 
h
) = 
p
model
(
x
| 
h
). 
(14.13)

---

Шумоподавляющие автокодировщики 

429
Рис. 14.2 

Структура стохастического автокодировщика, в которой ко-
дировщик и декодер – функции, содержащие шум, т. е. их выход можно 
рассматривать как выборку из распределения 
p
encoder
(
h
| 
x
)
для кодировщика 
и 
p
decoder
(
x
| 
h
)
для декодера
В общем случае распределения кодировщика и декодера не обязательно явля-
ются условными распределениями, совместимыми с совместным распределением 
p
model
(