Я. Гудфеллоу, И. Бенджио, А. Курвилль

298 

 
Сверточные сети
Рис. 9.13 

Влияние дополнения нулями на размер сети. Рассматривает-
ся сверточная сеть с ядром ширины 6 в каждом слое. В этом примере пулинг 
не используется, поэтому уменьшение размера сети вызвано только самой 
операцией свертки. (Вверху) В этой сверточной сети нет никакого неявного 
дополнения нулями. Поэтому ширина представления уменьшается на пять 
пикселей с каждым слоем. Если ширина входа равна 16 пикселям, то в сети 
может быть не более трех сверточных слоев, причем по последнему пере-
местить ядро невозможно, так что лишь два слоя можно назвать сверточны-
ми. Скорость сжатия можно уменьшить, если использовать ядра поменьше, 
но малые ядра обладают меньшей выразительностью, а сжатие как таковое 
все равно присутствует. (Снизу) Неявно добавив пять нулей в каждый слой, 
мы препятствуем сжатию представления. В результате глубина сверточной 
сети может быть любой.
Бывает, что мы хотим использовать не свертку, а локально связные слои (LeCun, 
1986, 1989). В таком случае матрица смежности графа нашего МСП не изменяется, но 
у каждого соединения имеется собственный вес, определяемый шестимерным тензо-
ром 
W
. Индексы 
W
следующие: 
i
– выходной канал, 
j
– выходная строка, 
k
– выходной 
столбец, 
l
– входной канал, 
m
– смещение строки внутри входа, 
n
– смещение столбца 
внутри входа. Тогда линейная часть локально связного слоя описывается формулой:
(9.9)
Иногда эту операцию называют 
неразделяемой сверткой
(unshared convolution), 
потому что она похожа на дискретную свертку с малым ядром, но без разделения 
параметров в разных позициях. На рис. 9.14 проведено сравнение локально связной, 
сверточной и полносвязной сетей.

---

Варианты базовой функции свертки 
