Я. Гудфеллоу, И. Бенджио, А. Курвилль

Часть III представляет особый интерес для исследователей – тех, кто хочет понять 
всю широту направлений, изучаемых в области глубокого обучения, и продвинуться 
на пути к настоящему искусственному интеллекту.

---

Глава 
13
Линейные
факторные модели
На передовых рубежах глубокого обучения часто требуется построить вероятностную 
модель входа, 
p
model
(
x
). В принципе, в такой модели может использоваться вероятност-
ный вывод для предсказания любой переменной в ее окружении при известных дру-
гих переменных. Во многих моделях имеются также латентные переменные 
h
, так что 
p
model
(
x
) = 
𝔼
h
 
p
model
(
x
| 
h
). Латентные переменные дают еще один способ представления 
данных. Распределенные представления, основанные на латентных переменных, могут 
пользоваться всеми преимуществами обучения представлений, о которых мы говорили 
при обсуждении глубоких сетей прямого распространения и рекуррентных сетей.
В этой главе мы опишем простейшие вероятностные модели с латентными перемен-
ными: линейные факторные модели. Иногда они используются в качестве составных 
частей смесовых моделей (Hinton et al., 1995a; Ghahramani and Hinton, 1996; Roweis 
et al., 2002) или более крупных глубоких вероятностных моделей (Тang et al., 2012). 
На их примере можно также продемонстрировать основные подходы к построению 
порождающих моделей, которые обобщаются в более передовых глубоких моделях.
Линейная факторная модель определяется стохастической линейной функцией 
декодера, которая генерирует 
x
посредством прибавления шума к результату линей-
ного преобразования 
h
.
Эти модели интересны тем, что позволяют выявить объясняющие факторы, имею-
щие простое совместное распределение. Благодаря простоте линейных декодеров эти 
модели стали первыми моделями с латентными переменными, подвергшимися прис-
тальному изучению.
Линейная факторная модель описывает порождающий данные процесс следую-
щим образом. Сначала производится выборка объясняющих факторов