Я. Гудфеллоу, И. Бенджио, А. Курвилль

9.8. Эффективные алгоритмы свертки
В современных приложениях сверточных сетей часто участвуют сети, содержащие 
более миллиона блоков. Для работы с ними необходимы эффективные реализации, 
задействующие средства распараллеливания вычислений (см. раздел 12.1). Но во 
многих случаях работу можно ускорить, выбрав подходящий алгоритм свертки.
Свертка эквивалентна переводу входа и ядра в частотную область с помощью пре-
образования Фурье, поточечному перемножению двух сигналов и возврату во времен-
ную область с помощью обратного преобразования Фурье. При определенном размере 
задачи это может оказаться быстрее наивной реализации дискретной свертки в лоб.
Если 
d
-мерное ядро можно представить в виде внешнего произведения 
d
векторов, 
по одному на каждое измерение, то ядро называется 
сеперабельным
. Для сепарабель-
ных ядер наивная свертка неэффективна. Она эквивалентна композиции 
d
одномер-
ных сверток с каждым из этих векторов. Это гораздо быстрее вычисления 
d
-мерной 
свертки с их внешним произведением. Кроме того, для представления ядра в виде 
векторов требуется меньше параметров. Если ядро состоит из 
w
элементов в каждом 
направлении, то для наивной многомерной свертки потребуется время 
O
(
w
d
) и столь-
ко же места в памяти для хранения параметров, тогда как для сеперабельной свертки 
нужно время и память порядка 
O
(
w
×
d
). Разумеется, не всякую свертку можно пред-
ставить подобным образом.
Поиск более быстрых способов вычислить свертку точно или приближенно, не 
принося в жертву верности модели, – область активных исследований. Даже мето-

---

Случайные признаки и признаки, обученные без учителя 

307
ды, улучшающие эффективность одного лишь прямого распространения, уже полез-
ны, потому что в коммерческих системах обычно больше ресурсов расходуется не на 
обуче ние, а на развертывание сети.