Я. Гудфеллоу, И. Бенджио, А. Курвилль

μ
, 
b
, 
V
и 
W
) равна
(13.23)
Поэтому если ковариационная матрица имеет ранг 
d
, то собственные значения от 
λ
d
+1
до 
λ
D
равны 0 и ошибка реконструкции равна 0.
Далее, можно показать, что это же решение может быть получено максимизацией 
дисперсий элементов 
h
при условии ортогональности 
W
, а не минимизацией ошибки 
реконструкции.
Линейные факторные модели относятся к простейшим порождающим моделям 
и к простейшим моделям, обучающимся представлению данных. Как линейные клас-
сификаторы и модели линейной регрессии можно обобщить на глубокие сети пря-
мого распространения, так и линейные факторные модели обобщаются на сети-ав-
токодировщики и глубокие вероятностные модели, которые решают те же задачи, но 
образуют гораздо более мощное и гибкое семейство моделей.

---

Глава 
14
Автокодировщики
Автокодировщиком
называется нейронная сеть, обученная пытаться скопировать 
свой вход в выход. На внутреннем уровне в ней имеется скрытый слой 
h
, который 
описывает 
код
, используемый для представления входа. Можно считать, что сеть со-
стоит из двух частей: функция кодирования 
h
= 
f
(
x
) и декодер, порождающий ре-
конструкцию 
r
= 
g
(
h
). Эта архитектура показана на рис. 14.1. Если автокодировщику 
удается просто обучиться всюду сохранять тождество 
g
(
f
(
x
)) = 
x
, то это не особенно 
полезно. На самом деле автокодировщики проектируются так, чтобы они не могли 
обучиться идеальному копированию. Обычно налагаются ограничения, позволяю-
щие копировать только приближенно и только тот вход, который похож на обучаю-
щие данные. Поскольку модель заставляют расставлять подлежащие копированию 
аспекты данных по приоритетам, то часто она обучается полезным свойствам данных.