Я. Гудфеллоу, И. Бенджио, А. Курвилль

эквивариантностью
относительно параллельного пере-
носа. Говорят, что функция эквивариантна, если при изменении входа выход меня-
ется точно так же. Точнее, функция 
f
(
x
) эквивариантна относительно функции 
g
, 
Рис. 9.2 

Разреженная связность при взгляде снизу. Выделен один вход-
ной блок 
x
3
и выходные блоки в слое 
s
, на которые этот блок влияет. (
Вверху
) 
Если 
s
образован сверткой с ядром ширины 3, то 
x
3
влияет только на три вы-
хода. (
Внизу
) Если 
s
образован умножением на матрицу, то связность уже не 
разреженная, поэтому 
x
3
влияет на все выходы
Рис. 9.3 

Разреженная связность при взгляде сверху. Выделен один 
выходной блок 
s
3
и выходные блоки в слое 
x
, которые на него влияют. Со-
вокупность этих блоков называется рецептивным полем 
s
3
. (
Вверху
) Если 
s
образован сверткой с ядром ширины 3, то на 
s
3
влияют только три входа. 
(
Внизу
) Если s образован умножением на матрицу, то связность уже не раз-
реженная, поэтому на 
s
3
влияют все входы

---

288 

 
Сверточные сети
если 
f
(
g
(
x
)) = 
g
(
f
(
x
)). В случае свертки, если 
g
– параллельный перенос, или сдвиг 
входа, то функция свертки эквивариантна относительно 
g
. Пусть, например, функ-
ция 
I
определяет яркость в точках с целыми координатами, и пусть 
g
– функция, 
отображаю щая одну функцию изображения в другую функцию изображения, так что 
I
′
= 
g
(
I
) – функция изображения, для которой 
I
′
(
x
, 
y
) = 
I
(
x
– 1, 
y
). Это сдвиг каждого 
пикселя 
I
на одну позицию вправо. Если применить это преобразование к 
I
, а затем 
выполнить свертку, то результат будет таким же, как если бы мы сначала применили 
свертку к 
I
′
, а затем преобразование 
g
к результату. При обработке временных рядов 
это означает, что свертка порождает своего рода временную шкалу, на которой пока-
зано время появления различных признаков во входных данных.
Рис. 9.5 
