Я. Гудфеллоу, И. Бенджио, А. Курвилль

перекрестная корреляция
– та же свертка, 
только без отражения ядра:
(9.6)
Во многих библиотеках машинного обучения реализована именно перекрестная 
корреляция, но называется она сверткой. Далее мы будем придерживаться этого 
соглашения и называть сверткой обе операции, а в тех местах, где отражение ядра 
имеет значение, будем это явно оговаривать. В контексте машинного обучения ал-
горитм обучения ставит найденные значения ядра в правильную позицию, поэтому 
если алгоритм основан на свертке с отражением ядра, то он обучит ядро, отраженное 
относительно того, которое обучено алгоритмом со сверткой без отражения. Редко 
бывает так, чтобы свертка использовалась в машинном обучении сама по себе; чаще 
она комбинируется с другими функциями, и такие комбинации не коммутативны вне 
зависимости от того, используется в ядре-свертке отражение или нет.
На рис. 9.1 приведен пример свертки (без отражения ядра) в применении к дву-
мерному тензору.
Дискретную свертку можно рассматривать как умножение на матрицу, на элемен-
ты которой наложены некоторые ограничения. Например, в случае одномерной дис-
кретной свертки каждая строка матрицы должна быть равна предыдущей, сдвину-
той на один элемент. Это утверждение называется 
теоремой Теплица
. В двумерном 
случае свертке соответствует 
дважды блочно-циркулянтная матрица
. Помимо огра-
ничений на равенство некоторых элементов, свертке обычно соответствует сильно 
разреженная матрица (в которой большинство элементов равно нулю). Связано это 
с тем, что ядро, как правило, гораздо меньше входного изображения. Любой алгоритм 
нейронной сети, основанный на умножении матриц и не зависящий от особенностей 
структуры этих матриц, должен работать и со сверткой без каких-либо модификаций 
самой сети. В типичных сверточных нейронных сетях все же используются особен-
ности структуры, чтобы организовать эффективную обработку больших входов, но 
с теоретической точки зрения это необязательно.