300
Сверточные сети
необходимых для прямого и обратного распространений. И всех этих целей мы до-
стигаем без уменьшения числа скрытых блоков.
Выходной тензор
Входной тензор
Канальные координаты
Пространственные
координаты
Рис. 9.15
Сверточная сеть, в которой первые два выходных канала свя-
заны только с первыми двумя входными каналами, а следующие два выход-
ных канала – только со следующими двумя входными
Периодическая свертка
(tiled convolution) (Gregor and LeCun, 2010a; Le et al.,
2010) представляет собой компромисс между сверточным и локально связным слоя-
ми. Вместо того чтобы обучать отдельный набор весов в каждой области простран-
ства, мы обучаем набор ядер, который затем сдвигаем по пространству как единое
целое. Это означает, что в соседних областях фильтры будут разные, как в локально
связном слое, но требования к объему памяти для хранения параметров возрастают
лишь пропорционально размеру набора ядер, а не как при хранении всей выходной
Варианты базовой функции свертки
301
карты признаков. На рис. 9.16 проведено сравнение локально связных слоев, перио-
дической и стандартной сверток.
Рис. 9.16
Сравнение локально связных слоев, периодической свертки
и стандартной свертки. Во всех трех случаях при использовании ядра од-
ного размера набор связей между блоками один и тот же. На этом рисунке
предполагается, что ширина ядра составляет два пикселя. Различие между
методами – в разделении параметров. (
Вверху
) В локально связном слое
параметры не разделяются вовсе. Все связи помечены разными буквами,
т. е. у каждой связи свой вес. (
В центре
) В случае периодической свертки
имеется набор из t разных ядер. В данном случае
t
= 2. Ребра первого ядра
помечены буквами «a» и «b», а ребра второго – буквами «c» и «d». При сме-
щении в выходном слое на один пиксель вправо мы переходим к исполь-
зованию другого ядра. Это означает, что, как и в локально связном слое,
у соседних выходных блоков параметры разные. Но, в отличие от локально
связного слоя, после перебора всех
t
имеющихся ядер мы снова возвраща-
емся к первому. Два выходных блока, разделенных числом шагов, кратным
t
, разделяют общие параметры. (
Внизу
) Традиционная свертка эквивалент-
на периодической с
t
= 1. Существует всего одно ядро, которое применяет-
ся во всех точках. На рисунке это следует из того, что все ребра помечены
буквами «a» и «b»
Чтобы определить периодическую свертку алгебраически, рассмотрим шестимер-
ный тензор
K
, два измерения которого соответствуют различным позициям в выход-
ной карте. Вместо отдельного индекса для каждой позиции выходной карты индексы
будут циклически пробегать множество
t
различных положений группы ядер в каждом
направлении. Если
t
равно ширине выхода, то мы получаем локально связный слой.
Do'stlaringiz bilan baham: |