Я. Гудфеллоу, И. Бенджио, А. Курвилль

W
и 
V
, добиваясь, чтобы 
реконструкция 
x
находилась как можно ближе к 
x
.

---

420 

 
Линейные факторные модели 
Рис. 13.2 

Образцы примеров и весов из модели разреженного коди-
рования типа Spike-and-Slab, обученной на наборе данных MNISТ. (
Слева
) 
Выборка из модели не похожа на обучающие примеры. На первый взгляд 
можно предположить, что модель плохо обучена. (
Справа
). Векторы весов 
модели обучены представлять росчерки пера и иногда целые цифры. Сле-
довательно, модель обучилась полезным признакам. Проблема в том, что 
факторное априорное распределение признаков приводит к комбинирова-
нию случайных подмножеств признаков. Немногие из таких подмножеств 
годятся для образования распознаваемой цифры из набора MNISТ. Отсюда 
необходимость разработки порождающих моделей с более мощными рас-
пределениями латентных кодов. Рисунок взят из работы Goodfellow et al. 
(2013d) с разрешения авторов
Пусть кодировщик имеет вид
h
= 
f
(
x
) = 
W
⏉
(
x
– 
μ
). 
(13.19)
Кодировщик вычисляет представление 
h
низкой размерности. С точки зрения ав-
токодировщика, мы имеем декодер, вычисляющий реконструкцию
x
ˆ
 
= 
g
(
h
) = 
b
+ 
Vh
.
 
(13.20)
Выбору линейного кодировщика и декодера, минимизирующих ошибку реконст-
рукции
𝔼
[||