Я. Гудфеллоу, И. Бенджио, А. Курвилль

входом
, а второй (функция 
w
) – 
ядром
. Выход иногда называют 
картой 
признаков
.
Лазерных датчиков, способных выдавать результаты измерений в любой момент 
времени, в действительности не бывает. Обычно при работе с данными в компьюте-
ре время дискретизировано, и наш датчик будет выдавать данные через регулярные 
интервалы. Пожалуй, было бы реалистичнее предположить, что лазер производит 
измерения раз в секунду. Индекс момента времени 
t
может принимать только целые 
значения. Если теперь предположить, что 
x
и 
w
определены только для целых 
t
, то мы 
получим определение дискретной свертки:
(9.3)
В приложениях машинного обучения входом обычно является многомерный мас-
сив данных, а ядром – многомерный массив параметров, адаптированных алгорит-
мом обучения. Будем называть эти массивы тензорами. Поскольку каждый элемент 
входа и ядра должен храниться отдельно в явном виде, обычно предполагается, что 
эти функции равны нулю всюду, кроме конечного множества точек, для которых мы 
храним значения. На практике это означает, что сумму от минус до плюс бесконеч-
ности можно заменить суммированием по конечному числу элементов массива.
Наконец, мы часто используем свертки сразу по нескольким осям. Например, если 
входом является двумерное изображение 
I
, то и ядро должно быть двумерным: 
(9.4)

---

284 

 
Сверточные сети
Операция свертки коммутативна, поэтому формулу можно записать и так:
(9.5)
Обычно вторую формулу проще реализовать в библиотеке машинного обучения, 
поскольку диапазон допустимых значений 
m
и 
n
меньше.
Свойство коммутативности свертки имеет место, потому что мы 
отразили
ядро 
относительно входа, т. е. при увеличении 
m
индекс входа увеличивается, а индекс 
ядра уменьшается. Единственная причина такого отражения – обеспечить коммута-
тивность. И хотя коммутативность полезна для доказательства теорем, в реализации 
нейронных сетей она обычно роли не играет. Вместо этого во многих библиотеках 
реа лизована родственная функция –