Я. Гудфеллоу, И. Бенджио, А. Курвилль

13.4. Разреженное кодирование
Разреженное кодирование
(Olshausen and Field, 1996) – это линейная факторная 
модель, которая активно изучалась как механизм обучения признакам без учителя 
и выделения признаков. Строго говоря, термин «разреженное кодирование» относит-
ся к процессу вывода значения 
h
в этой модели, а «разреженное моделирование» – 
к процессу проектирования и обучения модели, но часто под «разреженным кодиро-
ванием» понимают то и другое.
Как и в большинстве линейных факторных моделей, здесь используется линейный 
декодер плюс шум для получения реконструкций 
x
в соответствии с формулой (13.2). 
Точнее, в моделях разреженного кодирования обычно предполагается, что в линей-
ных факторах присутствует гауссов шум с изотропной точностью 
β
:
(13.12)
Распределение 
p
(
h
) выбирается так, чтобы были острые пики вблизи 0 (Olshausen 
and Field, 1996). Обычно используются факторизованные распределения Лапласа, 
Коши или 
t
-распределения Стьюдента. Например, априорное распределение Лапла-
са, параметризованное штрафом разреженности 
λ
, имеет вид:
(13.13)
а 
t
-распределение Стьюдента:
(13.14)
Обучить модель разреженного кодирования методом максимального правдоподо-
бия невозможно из-за гигантского объема вычислений. Вместо этого чередуют коди-
рование данных с обучением декодера для лучшей реконструкции данных при задан-

---

418 

 
Линейные факторные модели 
ной кодировке. В разделе 19.3 мы приведем теоретическое обоснование этого подхода 
в качестве аппроксимации максимального правдоподобия.
Для моделей типа PCA мы уже видели, как используется параметрическая функ-
ция кодирования, которая предсказывает 
h
и включает только умножение на матрицу 
весов. В разреженном кодировании используется не параметрический кодировщик, 
а алгоритм оптимизации, который решает задачу нахождения одного наиболее веро-
ятного значения кода: