Я. Гудфеллоу, И. Бенджио, А. Курвилль

414 

 
Линейные факторные модели 
В большинстве не используется критерий максимального правдоподобия, а вместо 
этого ставится цель сделать элементы 
h
= 
W
–1
x
независимыми друг от друга. Есть 
много критериев, позволяющих добиться этой цели. В формуле (3.47) необходимо 
вычислять определитель 
W
, а это дорогая и вычислительно неустойчивая операция. 
В некоторых вариантах ICA эту проблему обходят, требуя, чтобы матрица 
W
была 
ортогональной.
Во всех вариантах ICA требуется, чтобы распределение 
p
(
h
) было негауссовым. 
Связано это с тем, что если 
p
(
h
) – независимое априорное распределение с гауссо-
выми компонентами, то матрица 
W
определена неодозначно. Одно и то же распре-
деление 
p
(
x
) можно получить при разных значениях 
W
. В этом состоит разительное 
отличие от других линейных факторных моделей, в т. ч. вероятностного PCA и фак-
торного анализа, где часто требуется, чтобы 
p
(
h
) было гауссовым, поскольку тогда 
многие операции с моделью могут быть выражены в замкнутой форме. В подходе 
на основе максимального правдоподобия, когда пользователь задает распределение 
явно, типичным выбором является 
p
(
h
i
) = (
d
/
dh
i
)
σ
(
h
i
). Эти негауссовы распределе-
ния обычно выбирают так, чтобы пик в окрестности нуля был выше, чем у гауссова, 
поэтому в большинстве реализаций ICA обучаются разреженные признаки.
Многие варианты ICA не являются порождающими моделями в обычном смыс-
ле слова. В этой книге порождающая модель либо представляет распределение 
p
(