Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
(
t
)
)
i
f
(
x
(
t
)
)
j
] = 0. 
(13.11)
Это означает отсутствие линейной корреляции между обученными признаками. 
Не будь этого ограничения, все обученные признаки просто запомнили бы самый 
медленный сигнал. Можно представить себе и другие механизмы принудительной 
диверсификации признаков, например минимизацию ошибки реконструкции, но 
требование отсутствия корреляции допускает простое решение в силу линейности 
признаков SFA. Задачу оптимизации SFA можно решить в замкнутой форме, приме-
няя методы линейной алгебры.
Обычно SFA применяется для обучения нелинейным признакам посредством при-
менения к 
x
нелинейного расширения базиса до выполнения SFA. Например, часто 
заменяют 
x
квадратичным расширением базиса – вектором, содержащим элементы 
x
i
x
j
для всех 
i
и 
j
. Затем можно составить композицию модулей линейного SFA для 
обучения глубоких нелинейных экстракторов медленных признаков, для чего нужно 
несколько раз повторить следующие действия: обучить линейный экстрактор, при-
менить к его выходу нелинейное расширение базиса и обучить еще один линейный 
экстрактор признаков SFA на результатах расширения.
При обучении на небольших пространственных участках видео естественных сцен 
SFA с квадратичным расширением базиса обучается признакам, имеющим много об-
щих характеристик со сложными клетками в зоне V1 первичной зрительной коры 
(Berkes and Wiskott, 2005). При обучении на видео случайного движения в отрисо-
ванной компьютером трехмерной сцене глубокая модель SFA обучается признакам, 
имеющим много общих характеристик с нейронами в мозгу крыс, отвечающими за 
ориентацию в пространстве (Franzius et al., 2007). Таким образом, модель SFA пред-
ставляется биологически правдоподобной.
Главное достоинство SFA состоит в том, что можно теоретически предсказать, ка-
ким именно признакам обучится SFA, даже в глубокой нелинейной конфигурации. 
Для этого необходимо знать динамику окружения в терминах конфигурационно-
го пространства (например, для случайного движения в трехмерном отрисованном 
окружении теоретический анализ основывается на знании распределения вероятно-
сти положения и скорости перемещения камеры). Зная, как на самом деле изменяют-
ся объясняющие факторы, можно аналитически найти оптимальные функции, выра-

---

Разреженное кодирование 

417
жающие эти факторы. На практике эксперименты с применением глубокой модели 
SFA к имитированным данным, похоже, восстанавливают теоретически предсказан-
ные функции. Это большое преимущество, по сравнению с другими алгоритмами 
обуче ния, где функция стоимости сильно зависит от конкретных значений пикселей, 
из-за чего установить, каким функциям обучится модель, гораздо труднее.
Глубокий SFA применялся также для обучения признакам для распознавания 
объектов и оценки расположения (Franzius et al., 2008). Пока еще принцип медлен-
ности не лег в основу современных передовых приложений. Не ясно, что именно 
ограничивает его качество. Мы подозреваем, что априорная гипотеза медленности 
слишком сильная и что лучше бы не требовать, чтобы признаки были приблизи-
тельно постоянны, а наложить ограничение, что их должно быть легко предсказать 
при переходе от предыдущего шага к следующему. Положение объекта – полезный 
признак вне зависимости от того, велика или мала его скорость, но принцип мед-
ленности поощряет модель игнорировать положение быстро перемещающихся объ-
ектов.