Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
, привнести искажающий шум, выбирая 
x~
из 
C
(
x~
| 
x
).
2. Закодировать 
x~
в 
h
= 
f
(
x~
).
3. Декодировать 
h
и получить параметры 
ω
= 
g
(
h
) распределения 
p
(
x
| 
ω
= 
g
(
h
)) = 
= 
p
(
x
| 
x~
).
4. Выбрать следующее состояние 
x
из 
p
(
x
| 
ω
= 
g
(
h
)) = 
p
(
x
| 
x~
).
В работе Bengio et al. (2014) показано, что если автокодировщик 
p
(
x
| 
x
~
) дает со-
стоятельную оценку соответствующего условного распределения, то стационарное 
распределение вышеуказанной марковской цепи дает состоятельную оценку (хотя 
и неявную) порождающего данные распределения 
x
.
20.11.2. Фиксация и условная выборка
Как и машины Больцмана, шумоподавляющие автокодировщики и их обобщения 
(например, описанные ниже порождающие стохастические сети) можно использо-
вать для выборки из условного распределения 
p
(
x
f
| 
x
o
), просто зафиксировав 
наблю-
даемые
блоки 
x
o
и производя повторную выборку только 
свободных
блоков 
x
f
при 
условии 
x
o
и выбранных латентных переменных (если таковые существуют). Напри-
мер, МП-ГМБ можно интерпретировать как вариант шумоподавляющего автокоди-
ровщика и использовать для выборки отсутствующих входов. Позднее порождаю-
щие стохастические сети обобщили некоторые идеи, присутствующие в МП-ГМБ 
для выполнения той же операции (Bengio et al., 2014). В работе Alain et al. (2015) 
отмечено условие, пропущенное в предложении 1 из работы Bengio et al. (2014), 
а именно что оператор перехода (стохастическое отображение текущего состояния 
цепи в следующее) должен обладать свойством 
детального баланса
, означающим, 
что марковская цепь, находящаяся в состоянии равновесия, будет оставаться в нем 
вне зависимости от того, выполняется оператор перехода в прямом или обратном 
направлении.

---

Выборка из автокодировщиков 

597
На рис. 20.12 показан эксперимент, состоящий в фиксации половины пикселей 
(правая часть изображения) и выполнении марковской цепи в другой половине.
Рис. 20.11 

Шаг марковской цепи, ассоциированной с обученным шумо-
подавляющим автокодировщиком, которая генерирует примеры из веро-
ятностной модели, неявно обученной с критерием шумоподавляющего ло-
гарифмического правдоподобия. Каждый шаг состоит из: (
a
) привнесения 
шума в состояние 
x
с помощью искажающего процесса 
C
, который дает 
x~
; 
(
b
) кодирования 
x~
с помощью функции 
f
и получения 
h
= 
f
(
x~
)
; (
c
) декоди-
рования результата с помощью функции 
g
с получением параметров 
ω
для 
реконструкции распределения и (
d
) выборки нового состояния из реконст-
руированного распределения 
p
(