Я. Гудфеллоу, И. Бенджио, А. Курвилль

440 

 
Автокодировщики
Входные 
данные
Касательные векторы
Локальные PCA (без разделения между участками)
Сжимающий автокодировщик
Рис. 14.10 

Касательные векторы к многообразию, оцененные локаль-
ным методом главных компонент (PCA) и сжимающим автокодировщиком. 
Позиция на многообразии определяется входным изображением собаки, 
взятым из набора данных CIFAR-10. Для оценки касательных векторов ис-
пользуются первые сингулярные векторы матрицы Якоби 
∂
h
/
∂
x
отображе-
ния входа на код. Хотя и PCA, и CAE могут найти локальные касательные, 
CAE дает более точные оценки на ограниченном объеме обучающих дан-
ных, поскольку в нем присутствует разделение параметров между разными 
позициями, совместно использующими некоторое подмножество активных 
скрытых блоков. Касательные направления, найденные CAE, обычно соот-
ветствуют перемещающимся или изменяющимся частям объекта (скажем, 
голове или лапам). Изображение взято из работы Rifai et al. (2011c) с раз-
решения авторов
14.8. Предсказательная разреженная декомпозиция
Предсказательная разреженная декомпозиция
(ПРД) (predictive sparse decom po-
sition – PSD) – гибридная модель, в которой сочетаются разреженное кодирование 
и параметрические автокодировщики (Kavukcuoglu et al., 2008). Параметрический 
кодировщик обучается предсказывать результат итеративного вывода. ПРД приме-
нялась к обучению признаков без учителя для распознавания объектов в изображе-
ниях и видео (Kavukcuoglu et al., 2009, 2010; Jarrett et al., 2009; Farabet et al., 2011), 
а также к обработке звуковой информации (Henaff et al., 2011). Модель включает ко-
дировщик 
f
(
x
) и декодер 
g
(
h
) – оба параметрические. В процессе обучения