Я. Гудфеллоу, И. Бенджио, А. Курвилль

415
пы взаимосвязанных блоков, то метод называется 
анализом независимых подпрост-
ранств
(independent subspace analysis). Можно также назначить пространственные 
координаты каждому скрытому блоку и сформировать пересекающиеся группы 
прост ранственно соседних блоков. Это побуждает близкие блоки обучаться похожим 
признакам. В применении к естественным изображениям этот 
топографический ва-
риант ICA
обучает фильтры Габора, так чтобы у соседних признаков была одинаковая 
ориентация, местоположение или частота. Внутри каждой области встречается много 
разных сдвигов фаз похожих функций Габора, поэтому пулинг по небольшим облас-
тям дает инвариантность относительно параллельного переноса.
13.3. Анализ медленных признаков
Анализ медленных признаков
(slow feature analysis – SFA) – линейная факторная 
модель, в которой для обучения инвариантных признаков используется информация 
от сигналов времени (Wiskott and Sejnowski, 2002).
В основе анализа медленных признаков лежит общий 
принцип медленности
. Идея 
в том, что важные характеристики сцены изменяются очень медленно, по сравнению 
с отдельными измерениями, из которых складывается описание сцены. Например, 
в компьютерном зрении значения отдельных пикселей могут изменяться очень быст-
ро. Если имеется ряд изображений зебры, бегущей слева направо, то значения пик-
селей быстро меняются с черного на белый и наоборот. Однако признак, показываю-
щий, присутствует в изображении зебра или нет, не изменяется вовсе, а признак, 
описывающий положение зебры, изменяется медленно. Поэтому возникает желание 
регуляризировать модель, так чтобы она обучилась признакам, которые медленно из-
меняются во времени.
Принцип медленности появился намного раньше анализа медленных признаков 
и с успехом применялся к широкому кругу моделей (Hinton, 1989; F
ö
ldiа

k, 1989; 
Mobahi et al., 2009; Bergstra and Bengio, 2009). В общем случае принцип медленности 
можно применить к любой дифференцируемой модели, обученной методом гради-
ентного спуска. Для этого нужно включить в функцию стоимости член вида
(13.5)
где 
λ
– гиперпараметр, определяющий силу регуляризирующего члена, 
t
– индекс 
временной последовательности примеров, 
f
– экстрактор подлежащих регуляриза-
ции признаков, а 
L
– функция потерь, измеряющая расстояние между 
f
(