Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
| 
h
). 
Иногда мы хотим только обучить словарь признаков со значениями активации, кото-
рые часто будут равны 0 при выделении с помощью этой процедуры вывода.
Если 
h
выбирается из априорного распределения Лапласа, то обращение любого 
элемента 
h
в 0 – невозможное событие. Сама порождающая модель не особенно раз-
реженная, таковым является только экстрактор признаков. В работе Goodfellow et al. 
(2013d) описан приближенный вывод в другом семействе моделей – разреженного 
кодирования типа Spike-and-Slab, – для которого выборка из априорного распреде-
ления обычно содержит нули.
Разреженное кодирование в сочетании с использованием непараметрического ко-
дировщика, в принципе, может минимизировать комбинацию ошибки реконструкции 
с логарифмической априорной вероятностью лучше, чем любой конкретный парамет-
рической кодировщик. Еще одно преимущество состоит в том, что у кодировщика нет 
ошибки обобщения. Параметрический кодировщик должен обучиться такому отобра-
жению 
x
на 
h
, которое хорошо обобщается. Для необычных 
x
, не похожих на обучаю-
щие данные, обученный параметрический кодировщик может не найти 
h
, приводя-
щее к верной реконструкции или к разреженному коду. В подавляю щем большинстве 
формулировок моделей разреженного кодирования, если задача вывода выпуклая, 

---

Интерпретация PCA в терминах многообразий 

419
процедура оптимизации гарантированно находит оптимальный код (за исключени-
ем вырожденных случаев, как, например, повторяющиеся векторы весов). Очевидно, 
что затраты на разреженность и реконструкцию все равно могут быть выше для не-
знакомых точек, но это из-за ошибки обобщения в весах декодера, а не из-за ошиб-
ки обобщения в кодировщике. Благодаря отсутствию ошибки обобщения в процессе 
разреженного кодирования, основанного на оптимизации, ошибка обобщения в слу-
чае использования разреженного кодирования в качестве экстрактора признаков для 
классификатора может оказаться лучше, чем при использовании параметрической 
функции для предсказания кода. В работе Coates and Ng (2011) показано, что призна-
ки, найденные с помощью разреженного кодирования, лучше обобщаются в задачах 
распознавания объектов, чем признаки, найденные родственной моделью, основанной 
на параметрическом кодировщике, – линейно-сигмоидным автокодировщиком. По 
следам этой работы в работе Goodfellow et al. (2013d) показано, что вариант разрежен-
ного кодирования обобщается лучше, чем другие экстракторы признаков, в режиме, 
когда доступно очень мало меток (двадцать или даже меньше на каждый класс).
Основной недостаток непараметрического кодировщика в том, что ему требуется 
больше времени для вычисления