Я. Гудфеллоу, И. Бенджио, А. Курвилль

300 

 
Сверточные сети
необходимых для прямого и обратного распространений. И всех этих целей мы до-
стигаем без уменьшения числа скрытых блоков.
Выходной тензор
Входной тензор
Канальные координаты
Пространственные 
координаты
Рис. 9.15 

Сверточная сеть, в которой первые два выходных канала свя-
заны только с первыми двумя входными каналами, а следующие два выход-
ных канала – только со следующими двумя входными
Периодическая свертка
(tiled convolution) (Gregor and LeCun, 2010a; Le et al., 
2010) представляет собой компромисс между сверточным и локально связным слоя-
ми. Вместо того чтобы обучать отдельный набор весов в каждой области простран-
ства, мы обучаем набор ядер, который затем сдвигаем по пространству как единое 
целое. Это означает, что в соседних областях фильтры будут разные, как в локально 
связном слое, но требования к объему памяти для хранения параметров возрастают 
лишь пропорционально размеру набора ядер, а не как при хранении всей выходной 

---

Варианты базовой функции свертки 

301
карты признаков. На рис. 9.16 проведено сравнение локально связных слоев, перио-
дической и стандартной сверток.
Рис. 9.16 

Сравнение локально связных слоев, периодической свертки 
и стандартной свертки. Во всех трех случаях при использовании ядра од-
ного размера набор связей между блоками один и тот же. На этом рисунке 
предполагается, что ширина ядра составляет два пикселя. Различие между 
методами – в разделении параметров. (
Вверху
) В локально связном слое 
параметры не разделяются вовсе. Все связи помечены разными буквами, 
т. е. у каждой связи свой вес. (
В центре
) В случае периодической свертки 
имеется набор из t разных ядер. В данном случае 
t
= 2. Ребра первого ядра 
помечены буквами «a» и «b», а ребра второго – буквами «c» и «d». При сме-
щении в выходном слое на один пиксель вправо мы переходим к исполь-
зованию другого ядра. Это означает, что, как и в локально связном слое, 
у соседних выходных блоков параметры разные. Но, в отличие от локально 
связного слоя, после перебора всех 
t
имеющихся ядер мы снова возвраща-
емся к первому. Два выходных блока, разделенных числом шагов, кратным 
t
, разделяют общие параметры. (
Внизу
) Традиционная свертка эквивалент-
на периодической с 
t
= 1. Существует всего одно ядро, которое применяет-
ся во всех точках. На рисунке это следует из того, что все ребра помечены 
буквами «a» и «b»
Чтобы определить периодическую свертку алгебраически, рассмотрим шестимер-
ный тензор 
K
, два измерения которого соответствуют различным позициям в выход-
ной карте. Вместо отдельного индекса для каждой позиции выходной карты индексы 
будут циклически пробегать множество 
t
различных положений группы ядер в каждом 
направлении. Если 
t
равно ширине выхода, то мы получаем локально связный слой.

---