Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
(
t
)
) и 
f
(
x
(
t
+1)
). 
В качестве 
L
обычно берут квадрат среднеквадратического отклонения.
Анализ медленных признаков – особенно эффективное применение принципа 
медленности. Эффективность объясняется тем, что модель применяется к экстрак-
тору линейных признаков и потому может быть обучена в замкнутой форме. Как 
и некоторые варианты ICA, SFA, строго говоря, не является порождающей моде-
лью, поскольку определяет линейное отображение между пространством входов 
и пространством признаков, но не определяет априорного распределения в прост-
ранстве признаков и потому не налагает никакого распределения 
p
(
x
) на прост-
ранство входов.
Алгоритм SFA (Wiskott and Sejnowski, 2002) требует, чтобы 
f
(
x
; 
θ
) было линейным 
преобразованием и решает задачу оптимизации

---

416 

 
Линейные факторные модели 
(13.6)
при ограничениях
𝔼
t
f
(
x
(
t
)
)
i
= 0 
(13.9)
и
𝔼
t
[
f
(
x
(
t
)
)
i
2
] = 1. 
(13.10)
Среднее значение обученного признака должно быть равно нулю, чтобы у задачи 
было единственное решение; в противном случае можно было бы прибавить ко всем 
признакам одну и ту же константу и получить другое решение с тем же значением це-
левой функции медленности. А дисперсия должна быть равна 1, чтобы предотвратить 
патологическую ситуацию, когда все признаки оказываются равны 0. Как и в случае 
PCA, признаки SFA упорядочены, причем на первом месте находится самый медлен-
ный. Для обучения нескольким признакам нужно добавить еще ограничение
∀
i
< 
j
, 
𝔼
t
[
f
(