Я. Гудфеллоу, И. Бенджио, А. Курвилль

Разделение параметров. Черными стрелками показаны связи, 
в которых участвует конкретный параметр в двух разных моделях. (
Ввер-
ху
) Черными стрелками показано использование центрального элемента 
3-элементного ядра в сверточной модели. Благодаря разделению пара-
метров этот параметр используется для всех элементов входа. (
Внизу
) 
Одиночная черная стрелка показывает использование центрального эле-
мента матрицы весов в полносвязной модели. Здесь никакого разделения 
параметров нет, поэтому параметр используется только один раз
Если перенести событие на более поздний момент времени во входных данных, 
то на выходе появится точно такое же его представление, только позже. А при ра-
боте с изображениями свертка создает двумерную карту появления определенных 
признаков во входном изображении. Если переместить объект во входном изображе-
нии, то его представление на выходе переместится на такую же величину. Это бывает 
нужно, когда мы знаем, что некоторая функция от небольшого числа пикселей по-
лезна при применении к нескольким участкам входа. Например, в случае обработки 
изображений полезно обнаруживать границы в первом слое сверточной сети. Одни 
и те же границы встречаются более-менее везде в изображении, поэтому имеет смысл 
разделять параметры по всему изображению. Но в некоторых случаях такое глобаль-
ное разделение параметров нежелательно. Например, если мы обрабатываем изобра-
жения, которые были кадрированы, так чтобы в центре оказалось лицо человека, то, 

---

Мотивация 

289
наверное, хотим выделять разные признаки в разных точках – часть сети будет обра-
батывать верхнюю часть лица в поисках бровей, а другая часть – искать подбородок 
в нижней части лица.
Рис. 9.6 

Эффективность обнаружения границ. Правое изображение 
получено вычитанием из каждого пикселя исходного изображения зна-
чения пикселя слева от него. В результате мы получаем силу всех верти-
кальных границ во входном изображении, что бывает полезно для обна-
ружения объектов. Высота обоих изображений 280 пикселей. Ширина 
входного изображения 320 пикселей, а выходного – 319. Это преобразо-
вание можно описать как свертку с ядром, содержащим два элемента, оно 
требует 319 
×
280 
×
3 = 267 960 операций с плавающей точкой (два умно-
жения и одно сложение на каждый выходной пиксель). Если то же самое 
преобразование выполнять путем перемножения матриц, то потребуется 
320 
×
280 
×
319 
×
280, т. е. больше восьми миллиардов элементов матри-
цы, так что с точки зрения потребления памяти свертка эффективнее та-
кого преобразования в четыре миллиарда раз. При прямом перемножении 
матриц пришлось бы выполнить свыше 16 миллиардов операций с плаваю-
щей точкой, так что и с этой точки зрения свертка примерно в 60 000 раз 
эффективнее. Конечно, большинство элементов матрицы было бы равно 
нулю. Если хранить только ненулевые элементы, то в обоих случаях при-
шлось бы выполнить примерно одно и то же число операций с плавающей 
точкой. Но все равно в матрице было бы 2 
×
319 
×
280 = 178 640 элементов. 
Свертка – чрезвычайно эффективный способ описания преобразований, 
в которых одно и то же линейное преобразование многократно применяет-
ся к небольшим участкам изображения
Свертка не эквивариантна относительно некоторых других преобразований, на-
пример масштабирования или поворота. Для обработки таких преобразований нуж-
ны другие механизмы.
Наконец, существуют типы данных, которые нельзя обработать с помощью ней-
ронных сетей, определяемых путем умножения на матрицу фиксированной формы. 
Свертка позволяет обрабатывать некоторые данные такого рода. Мы вернемся к это-
му вопросу в разделе 9.7.

---