Я. Гудфеллоу, И. Бенджио, А. Курвилль

294 

 
Сверточные сети
Результат softmax:
вероятности 1000 классов
Результат пулинга
с шагом 4: 16
×
16
×
64
Результат умножения
матриц: 1000 блоков
Результат свертки + ReLU: 
64
×
64
×
64
Результат сериализации 
в вектор: 16 384 блока
Результат пулинга
с шагом 4: 64
×
64
×
64
Результат свертки + ReLU: 
256
×
256
×
64
Входное изображение: 
256
×
256
×
3
Результат softmax:
вероятности 1000 классов
Результат пулинга
в области 3
×
3: 3
×
3
×
64
Результат умножения
матриц: 1000 блоков
Результат свертки + ReLU: 
64
×
64
×
64
Результат сериализации 
в вектор: 576 блоков
Результат пулинга
с шагом 4: 64
×
64
×
64
Результат свертки + ReLU: 
256
×
256
×
64
Входное изображение: 
256
×
256
×
3
Результат softmax:
вероятности 1000 классов
Результат пулинга
с шагом 4: 16
×
16
×
64
Результат пулинга
усреднением: 1
×
1
×
1000
Результат свертки + ReLU: 
64
×
64
×
64
Результат свертки: 
16
×
16
×
1000
Результат пулинга
с шагом 4: 64
×
64
×
64
Результат свертки + ReLU: 
256
×
256
×
64
Входное изображение: 
256
×
256
×
3
Рис. 9.11 

Примеры архитектур для классификации на основе сверточ-
ных сетей. Конкретные величины шага и глубины на этом рисунке не сле-
дует рассматривать как рекомендации для практического применения; они 
выбраны так, чтобы рисунок поместился на страницу. Кроме того, реальные 
сверточные сети часто являются сильно разветвленными, а не цепными, как 
на этом рисунке. (
Слева
) Сверточная сеть для обработки изображений фик-
сированного размера. После чередования нескольких сверточных и пулин-
говых слоев форма тензора сверточной карты признаков меняется, чтобы 
выстроить все пространственные измерения в один плоский вектор. Далее 
следует обычный классификатор в виде сети прямого распространения, 
описанный в главе 6. (
В центре
) Сверточная сеть для обработки изображе-
ний переменного размера, в которой по-прежнему имеется полносвязный 
участок. В сети применяется операция пулинга с фиксированным числом 
пулов переменного размера, которая порождает вектор из 576 блоков, по-
даваемый на вход полносвязного участка сети. (
Справа
) Сверточная сеть, 
в которой вообще нет полносвязного слоя весов. Вместо этого последний 
сверточный слой выводит по одной карте признаков на каждый класс. Пред-
положительно модель обучает карту тому, насколько вероятно появление 
каждого класса в каждой пространственной области. Единственное значе-
ние, получающееся в результате усреднения карты признаков, подается на 
вход softmax-классификатора в верхнем слое
Сверточную сеть можно представлять себе как полносвязную сеть с бесконечно 
сильным априорным распределением весов. Оно говорит, что веса некоторого скрыто-
го слоя должны быть идентичны весам соседнего с ним слоя, но сдвинуты в простран-

---

Варианты базовой функции свертки 

295
стве. Априорное распределение говорит также, что веса должны быть равны 0 всю-
ду, кроме малого рецептивного поля, состоящего из смежных блоков, поставленных 
в соответствие данному скрытому блоку. Короче говоря, можно считать, что свертка 
вводит бесконечно сильное априорное распределение вероятности параметров слоя, 
согласно которому обучаемая данным слоем функция допускает только локальные 
взаимодействия и эквивариантна относительно параллельных переносов. Аналогично 
пулинг вводит бесконечно сильное априорное распределение, согласно которому каж-
дый блок должен быть инвариантен относительно малых параллельных переносов.
Разумеется, реализация сверточной сети как полносвязной сети с бесконечно силь-
ным априорным распределением с вычислительной точки зрения была бы неимо-
верно расточительной. Но такая интерпретация может пролить свет на механизмы 
работы сверточных сетей.
Одно из ключевых открытий состоит в том, что свертка и пулинг могут стать при-
чиной недообучения. Как любое априорное распределение, свертка и пулинг полез-
ны, только когда предположения, выраженные этим распределением, достаточно 
верны. Если в задаче необходимо сохранять точную пространственную информацию, 
то применение пулинга по всем признакам может увеличить ошибку обучения. Не-
которые архитектуры сверточных сетей (Szegedy et al., 2014a) рассчитаны на при-
менение пулинга только к части каналов, чтобы получить как признаки с высокой 
степенью инвариантности, так и признаки, не подверженные недообучению в случае, 
когда априорное предположение об инвариантности относительно параллельных 
переносов неверно. Если задача подразумевает включение в состав входных данных 
информации из очень отдаленных областей, то априорное распределение, ассоции-
руемое со сверткой, может оказаться непригодным.
Еще одно важное соображение заключается в том, что при эталонном тестиро-
вании качества статистического обучения сверточные модели следует сравнивать 
только с другими сверточными моделями. Модели, в которых свертка не использу-
ется, смогут обучиться, даже если мы переставим все пиксели в изображении. Для 
многих наборов изображений существуют раздельные эталонные тесты для моделей, 
которые