Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
контро-
лируется алгоритмом оптимизации. Обучение заключается в минимизации
||
x
– 
g
(
h
)||
2
+ 
λ
|
h
|
1
+ 
γ
||
h
– 
f
(
x
)||
2
.
(14.19)
Как в случае разреженного кодирования, алгоритм обучения чередует минимиза-
цию относительно 
h
с минимизацией относительно параметров модели. Минимиза-
ция относительно 
h
производится быстро, потому что 
f
(
x
) дает хорошее начальное 
значение 
h
, а функция стоимости налагает на 
h
ограничение – оставаться близко 
к 
f
(
x
). Простым градиентным спуском можно получить разумные значения 
h
всего 
за десять шагов.
Процедура обучения в ПРД не сводится к обучению сначала модели разреженного 
кодирования, а затем обучению 
f
(
x
) для предсказания значений признаков разрежен-
ного кодирования. На самом деле эта процедура регуляризирует декодер, так чтобы 
использовались параметры, для которых 
f
(
x
) может вывести хорошие значения кода.

---

Применения автокодировщиков 

441
Предсказательная разреженная декомпозиция – пример
 обученного приближен-
ного вывода
. В разделе 19.5 мы вернемся к этой теме. Из материала, изложенного 
в главе 19, следует, что ПРД можно интерпретировать как обучение ориентированной 
вероятностной модели разреженного кодирования путем максимизации нижней гра-
ницы логарифмического правдоподобия модели.
В практических приложениях ПРД итеративная оптимизация используется толь-
ко на этапе обучения. Параметрический кодировщик 
f
применяется для вычисления 
обучен ных признаков после развертывания модели. Вычисление 
f
обходится недо-
рого, по сравнению с выводом 
h
методом градиентного спуска. Поскольку 
f
– диф-
ференцируемая параметрическая функция, то модели ПРД можно объединить и ис-
пользовать для инициализации глубокой сети, обучаемой по другому критерию.