Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
), 
либо умеет производить выборку из него. Многие варианты ICA знают только, как 
выполнить преобразование между 
x
и 
h
, но не имеют средств для представления 
p
(
h
), 
а потому не подразумевают никакого конкретного распределения 
p
(
x
). Так, во мно-
гих вариантах ICA ставится цель увеличить куртозис 
h
= 
W
–1
x
, поскольку высокий 
куртозис является признаком негауссовости 
p
(
h
), но этой цели можно достичь и без 
явного представления 
p
(
h
). Дело в том, что ICA чаще используется как аналитиче-
ский инструмент для разделения сигналов, а не для порождения данных или оценки 
плотности.
Как PCA можно обобщить на нелинейные автокодировщики, описанные в гла-
ве 14, так и ICA обобщается на нелинейные порождающие модели, в которых для 
генерации наблюдаемых данных используется нелинейная функция 
f
. Первой ра-
ботой по нелинейному ICA была статья Hyv
ä
rinen and Pajunen (1999), а его успеш-
ное применение к ансамблевому обучению описано в работах Roberts and Everson 
(2001) и Lappalainen et al. (2000). Еще одно нелинейное обобщение ICA – 
нели-
нейное оценивание независимых компонент
(nonlinear independent components 
estimation – NICE) (Dinh et al., 2014), когда строится последовательность обра-
тимых преобразований (ступеней кодировщика), обладающая тем свойством, что 
определитель матрицы Якоби каждого преобразования допускает эффективное вы-
числение. Это позволяет точно вычислить правдоподобие; как и ICA, NICE пыта-
ется преобразовать данные в пространство, где они имеют факторизованное марги-
нальное распределение, но теперь, благодаря нелинейности кодировщика, шансов 
на успех этого предприятия больше. Поскольку с кодировщиком ассоциирован де-
кодер, являющийся его точным обращением, то выборка из модели не представляет 
никаких трудностей (нужно сначала произвести выборку из 
p
(
h
), а затем приме-
нить декодер).
Еще одно обобщение ICA – обучение групп признаков, когда статистическая за-
висимость допускается внутри группы, но запрещается между группами (Hyv
ä
rinen 
and Hoyer, 1999; Hyv
ä
rinen et al., 2001b). Если выбираются непересекающиеся груп-

---

Анализ медленных признаков 
