Я. Гудфеллоу, И. Бенджио, А. Курвилль

условно независимыми
при условии 
h
. Точнее говоря, предполагается, что шум выбирается из нормального распределе-
ния с диагональной ковариационной матрицей 
ψ
= diag(
σ
2
), где 
σ
2
= [
σ
1
2
, 
σ
2
2
, …, 
σ
n
2
]
⏉
– 
вектор дисперсий отдельных переменных.
Таким образом, роль латентных переменных – в 
улавливании зависимостей
между 
различными наблюдаемыми переменными 
x
i
. Действительно, легко показать, что 
x
– 
просто случайная величина с многомерным нормальным распределением:
x
∼
𝒩
(
x
; 
b
, 
WW
⏉
+ 
ψ
). 
(13.4)
Чтобы переформулировать метод главных компонент (PCA) в вероятностном кон-
тексте, мы можем внести небольшую модификацию в модель факторного анализа, 
сделав условные дисперсии 
σ
i
2
равными. В таком случае ковариация 
x
равна просто 
WW
⏉
+ 
σ
2
I
, где 
σ
2
– теперь скаляр. Тогда условное распределение имеет вид
x
∼
𝒩
(
x
; 
b
, 
WW
⏉
+ 
σ
2
I
), 
(13.5)
или, эквивалентно,
x
= 
W
h
+ 
b
+ 
σ
z
,
 
(13.6)
где 
z
∼
𝒩
(
z
; 
0
, 
I
) – гауссов шум. Далее, как показано в работе Тipping and Bishop 
(1999), можно использовать итеративный EM-алгоритм для оценивания параметров 
W 
и 
σ
2
.
В этой модели 
вероятностного
PCA предполагается, что своей вариативностью 
данные обязаны прежде всего латентным переменным 
h
с точностью до небольшой 
остаточной 
ошибки реконструкции
σ
2
. Как показано в работе Тipping and Bishop 
(1999), вероятностный PCA превращается в PCA, когда 
σ
→
0. В этом случае услов-

---

Анализ независимых компонент (ICA) 

413
ное математическое ожидание 
h
при условии 
x
становится ортогональной проекцией 
x
– 
b
на пространство, натянутое на 
d
столбцов 
W
, как в PCA. 
При 
σ
→
0 модель плотности, определяемая вероятностным PCA, становится очень 
острой в направлении тех 
d
измерений, которые натянуты на столбцы 
W
. Поэтому 
модель может назначать очень низкое правдоподобие данным, если они в действи-
тельности не образуют кластера в окрестности этой гиперплоскости.
13.2. Анализ независимых компонент (ICA)
Анализ независимых компонент (independent component analysis – ICA) – один из 
самых старых алгоритмов обучения представлений (Herault and Ans, 1984; Jutten and 
Herault, 1991; Comon, 1994; Hyv
ä
rinen, 1999; Hyv
ä
rinen et al., 2001a; Hinton et al., 2001; 
Тeh et al., 2003). Идея этого подхода к моделированию линейных факторов заклю-
чается в том, чтобы представить наблюдаемый сигнал в виде линейной комбинации 
нескольких составляющих. Предполагается, что эти сигналы полностью независимы, 
а не просто не коррелированы
1
.
Под общим названием ICA объединено несколько разных методологий. На дру-
гие описанные здесь порождающие модели больше всего похож вариант (Pham et 
al., 1992), в котором обучается полностью параметрическая порождающая модель. 
Априорное распределение объясняющих факторов 
p
(