Я. Гудфеллоу, И. Бенджио, А. Курвилль

Рис. 14.1 

Общая структура автокодировщика, отображающего вход 
x
на выход 
r
(называемый реконструкцией) через внутреннее представление, 
или код 
h
. Автокодировщик состоит из двух частей: кодировщик 
f
(отобра-
жение 
x
в 
h
) и декодер 
g
(отображение 
h
в 
r
)
В современных автокодировщиках идея кодировщика и декодера обобщена с де-
терминированных на стохастические отображения 
p
encoder
(
h
| 
x
) и 
p
decoder
(
x
| 
h
).
Идея автокодировщиков исторически является частью ландшафта нейронных се-
тей уже несколько десятилетий (LeCun, 1987; Bourlard and Kamp, 1988; Hinton and 
Zemel, 1994). Традиционно их использовали для понижения размерности и обуче-
ния признакам. Выявленные недавно теоретические связи между автокодировщика-
ми и моделями с латентными переменными вывели автокодировщики на передний 
фронт порождающего моделирования, как мы увидим в главе 20. Автокодировщики 
можно рассматривать как частный случай сетей прямого распространения и обучать, 
применяя те же методы, обычно мини-пакетный градиентный спуск в направлении 
градиентов, вычисленных в ходе обратного распространения. Но, в отличие от общих 
сетей прямого распространения, автокодировщики можно обучать также с помощью 

---

Регуляризированные автокодировщики 

423
рециркуляции
(Hinton and McClelland, 1988) – алгоритма обучения, основанного на 
сравнении активаций сети на оригинальных и реконструированных входных данных. 
Рециркуляция считается биологически более правдоподобным механизмом, чем об-
ратное распространение, но редко применяется в приложениях машинного обучения.