Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
из распре-
деления:
h
∼
p
(
h
), 
(13.1)
где 
p
(
h
) – факторное распределение: 
p
(
h
) = 
∏
i
p
(
h
i
), из которого легко производить 
выборку. Затем мы производим выборку вещественных наблюдаемых переменных 
при условии факторов
x
= 
Wh
+ 
b
+ noise, 
(13.2)
где шум noise обычно имеет нормальное диагональное (независимое по разным осям) 
распределение. Это показано на рис. 13.1.

---

412 

 
Линейные факторные модели 
x
= 
W
h
+ 
b
+ 
noise
Рис. 13.1 

Ориентированная графическая модель, описывающая се-
мейство линейных факторных моделей. Предполагается, что наблюдаемый 
вектор 
x
является линейной комбинацией независимых латентных факто-
ров 
h
и шума. В различных моделях, например в вероятностном методе 
главных компонент, факторном анализе и анализе независимых компонент 
(ICA), делаются различные предположения о форме шума и априорном 
распределении 
p
(
h
)
13.1. Вероятностный PCA и факторный анализ
В 
факторном анализе
(Bartholomew, 1987; Basilevsky, 1994) латентная переменная 
имеет априорное нормальное распределение с единичной дисперсией
h
∼
𝒩
(
h
; 
0
, 
I
), 
(13.3)
а наблюдаемые переменные 
x
i
предполагаются