Я. Гудфеллоу, И. Бенджио, А. Курвилль

299
Рис. 9.14 

Сравнение локальной связности, свертки и полной связности. 
(
Вверху
) Локально связный слой с патчем шириной два пикселя. Все ребра 
помечены разными буквами, т. е. с каждым ребром ассоциирован свой ве-
совой параметр. (
В центре
) Сверточный слой с ядром шириной два пиксе-
ля. Связность этой модели точно такая же, как у локально связного слоя. 
Различие не в том, какие блоки взаимодействуют друг с другом, а в том, как 
разделяются параметры. В локальном связном слое никакого разделения 
параметров нет. В сверточном слое два одинаковых же веса повторно ис-
пользуются для всего входного слоя, это видно из повторения буквенных 
меток ребер. (
Внизу
) Полносвязный слой похож на локально связный в том 
смысле, что у каждого ребра свой собственный параметр (их слишком мно-
го, чтобы расставлять буквы на рисунке). А отличие в том, что в локальном 
связном слое связность ограничена
Локально связные слои полезны, если мы знаем, что каждый признак должен быть 
функцией небольшого участка пространства, но нет причин полагать, что один и тот 
же признак должен встречаться во всем пространстве. Например, если нам нужно 
только определить, изображено ли на картинке лицо, то требуется лишь поискать рот 
в нижней части изображения.
Иногда бывают полезны варианты сверточных или локально связных слоев, в ко-
торых на связность наложены дополнительные ограничения, например что каждый 
выходной канал 
i
должен быть функцией лишь подмножества входных каналов 
l
. Для 
этого, как правило, связывают первые 
m
выходных каналов только с первыми 
n
вход-
ными, следующие 
m
выходных каналов – только со следующими 
n
входными и т. д. 
(см. рис. 9.15). Поскольку моделируется взаимодействие между небольшим числом 
каналов, число параметров сети можно уменьшить, а значит, сократить потребление 
памяти, повысить статистическую эффективность и уменьшить объем вычислений, 

---