Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
) должно быть зафиксирова-
но пользователем заранее. Затем модель детерминированно порождает 
x
= 
Wh
. Для 
определения 
p
(
x
) мы можем произвести нелинейную замену переменных (пользуясь 
формулой 3.47). Далее обучение модели протекает как обычно, с применением мак-
симального правдоподобия.
Обоснование этого подхода состоит в том, что, выбирая 
p
(
h
) независимым, мы мо-
жем восстановить объясняющие факторы, которые настолько близки к независимым, 
насколько возможно. Обычно это используется не для того, чтобы уловить высоко-
уровневые абстрактные каузальные факторы, а чтобы восстановить низкоуровневые 
сигналы, которые можно смешать. При такой постановке каждый обучающий при-
мер – это один момент времени, каждый 
x
i
– одно наблюдение смешанных сигналов, 
полученное от датчика, а каждый 
h
i
– одна оценка одного из исходных сигналов. На-
пример, пусть одновременно разговаривают 
n
человек. Если в разных точках установ-
лено 
n
микрофонов, то метод ICA позволяет обнаружить изменения громкости каж-
дого говорящего, зафиксированной каждым микрофоном, и разделить сигналы таким 
образом, что каждая компонента 
h
i
содержит отчетливую речь одного человека. Это 
часто применяется для снятия электроэнцефалограмм – электрических сигналов моз-
га. На голове пациента закрепляется несколько электродов для измерения электриче-
ских сигналов тела. Обычно экспериментатора интересуют только сигналы мозга, но 
сигналы, исходящие от сердца и глаз, достаточно сильны, чтобы исказить результаты 
измерений, произведенных на черепе. Электроды снимают смешанный сигнал, поэто-
му для отделения электрической сигнатуры сердца от сигналов мозга, а также для раз-
деления сигналов от различных участков мозга необходимо применение ICA.
Как уже было сказано, существует много вариантов ICA. Некоторые добавляют 
шум в процесс генерации 
x
вместо использования детерминированного декодера. 
1
Обсуждение вопроса о том, чем некоррелированные величины отличаются от независимых, 
см. в разделе 3.8.

---