Я. Гудфеллоу, И. Бенджио, А. Курвилль

инвариантны относительно перестановок
и должны в процессе обучения 
выявить концепцию топологии, и для моделей, в которые проектировщик заложил 
знания о пространственных связях.
9.5. Варианты базовой функции свертки
При обсуждении свертки в контексте нейронных сетей мы обычно не имеем в виду 
стандартную операцию дискретной свертки в том смысле, в каком она понимается 
в математической литературе. Практически используемые функции немного отлича-
ются. Ниже мы детально опишем эти различия и выделим некоторые полезные свой-
ства функций, применяемых в нейронных сетях.
Прежде всего под сверткой в нейронных сетях мы обычно понимаем операцию, 
состоящую из многих параллельных вычислений свертки. Связано это с тем, что 
свертка с одним ядром может выделить только один вид признаков, хотя и во многих 
местах. Обычно мы хотим, чтобы каждый слой сети выделял много разных признаков 
во многих местах.
Кроме того, вход обычно является не просто сеткой вещественных значений, а сеткой 
векторных наблюдений. Например, каждый пиксель цветного изображения состоит из 

---

296 

 
Сверточные сети
красной, зеленой и синей компонент. В многослойной сверточной сети входом второго 
слоя является выход первого, который обычно состоит из результатов многих разных 
сверток в каждой позиции. При работе с изображениями мы обычно интерпретируем 
вход и выход свертки как трехмерные тензоры, в которых по одному измерению на-
ходятся цветовые каналы, а по двум другим – пространственные координаты каналов. 
Программные реализации обычно работают в пакетном режиме, так что на самом деле 
используются четырехмерные тензоры, в которых четвертая ось соответствует приме-
рам в пакете, но в нашем описании мы для простоты будем эту ось опускать.
Поскольку в сверточных сетях свертка обычно применяется к нескольким кана-
лам, коммутативность соответствующих операций не гарантируется, даже при ис-
пользовании ядра с отражением. Такие многоканальные операции коммутативны, 
только если число выходных каналов равно числу входных.
Предположим, что имеется четырехмерный тензор 
K
, элемент 
K
i, j, k, l
которого опре-
деляет силу связи между блоком 
i
-го выходного канала и 
j
-го входного канала, когда 
входной и выходной блоки отстоят друг от друга на 
k
строк и 
l
столбцов. Предполо-
жим также, что вход состоит из данных наблюдений 
V
, где элемент 
V
i, j, k
содержит зна-
чение 
i
-го канала входного блока на пересечении 
j
-ой
 
строки и 
k
-го столбца. И пусть 
выход