Я. Гудфеллоу, И. Бенджио, А. Курвилль

290 

 
Сверточные сети
9.3. Пулинг
Типичный слой сверточной сети состоит из трех стадий (рис. 9.7). На первой стадии 
слой параллельно выполняет несколько сверток и порождает множество линейных 
активаций. На второй стадии каждая линейная активация пропускается через нели-
нейную функцию активации, например функцию линейной ректификации. Эту ста-
дию часто называют 
детекторной
. На третьей стадии используется 
функция пулинга
для дальнейшей модификации выхода слоя.
Терминология сложных слоев
Терминология простых слоев
Сверточный слой
Следующий слой
Следующий слой
Вход слоя
Вход слоев
Стадия пулинга
Слой пулинга
Детекторная стадия:
нелинейность, например
блок линейной ректификации
Детекторный слой:
нелинейность, например
блок линейной ректификации
Стадия свертки:
аффинное преобразование
Слой свертки:
аффинное преобразование
Рис. 9.7 

Компоненты типичного слоя сверточной нейронной сети. Для 
описания таких слоев применяется двоякая терминология. (Слева) В этой 
терминологии сверточная сеть рассматривается как небольшой набор от-
носительно сложных слоев, каждый из которых имеет много «стадий». При 
этом существует взаимно однозначное соответствие между ядерными тен-
зорами и слоями сети. В этой книге мы в основном придерживаемся такой 
терминологии. (Справа) В этой терминологии сверточная сеть рассматри-
вается как большой набор простых слоев слоев, а каждый шаг обработки 
считается полноправным слоем. Это означает, что не у каждого «слоя» есть 
параметры
Функция пулинга заменяет выход сети в некоторой точке сводной статистикой 
близлежащих выходов. Например, операция 
max-пулинга
(Zhou and Chellappa, 1988) 
возвращает максимальный выход в прямоугольной окрестности. Из других употре-
бительных функций пулинга отметим усреднение по прямоугольной окрестности,
L
2
-норму в прямоугольной окрестности и взвешенное среднее с весами, зависящими 
от расстояния до центрального пикселя.
В любом случае пулинг позволяет сделать представление приблизительно