Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
при известном 
x
из-за необходимости выполнять 
итеративный алгоритм. В параметрическом автокодировщике, который будет опи-
сан в главе 14, используется только фиксированное число слоев, часто всего один. 
Еще один недостаток – сложность обратного распространения через непараметриче-
ский кодировщик, что затрудняет предобучение модели разреженного кодирования 
с помощью критерия без учителя и последующую настройку с помощью критерия 
с учителем. Существуют модифицированные варианты разреженного кодирования, 
допускающие приближенные производные, но они не получили широкого распрост-
ранения (Bagnell and Bradley, 2009).
Разреженное кодирование, как и другие линейные факторные модели, часто по-
рождает плохие примеры, как показано на рис. 13.2. Так бывает, даже когда модель 
способна хорошо реконструировать данные и предоставляет полезные признаки 
классификатору. Причина в том, что каждый отдельный признак может быть обучен 
хорошо, но факторное априорное распределение скрытого кода приводит к тому, что 
модель включает случайные подмножества всех признаков в каждый сгенерирован-
ный пример. Это является стимулом для разработки более глубоких моделей, кото-
рые могут применять нефакторное распределение в самом глубоком слое кода, а так-
же для разработки более изощренных мелких моделей.
13.5. Интерпретация PCA в терминах многообразий
Линейные факторные модели, в т. ч. PCA и факторный анализ, можно интерпрети-
ровать как обучение многообразия (Hinton et al., 1997). Мы можем рассматривать 
вероятностный PCA как определение блинообразной области высокой вероятно-
сти – нормальное распределение, очень узкое вдоль некоторых осей, как блин вдоль 
своей вертикальной оси, и сильно вытянутое вдоль остальных осей, как блин вдоль 
горизонтальных осей (см. рис. 13.3). PCA можно интерпретировать как совмещение 
этого блина с линейным многообразием в пространстве более высокой размерности. 
Такая интерпретация относится не только к традиционному PCA, но и к любому ли-
нейному автокодировщику, который обучается матрицам