Я. Гудфеллоу, И. Бенджио, А. Курвилль

Глава 
9
Сверточные сети
Сверточная сеть
(LeCun, 1989), она же 
сверточная нейронная сеть
(СНС), – это спе-
циальный вид нейронной сети для обработки данных с сеточной топологией. При-
мерами могут служить временные ряды, которые можно рассматривать как одномер-
ную сетку примеров, выбираемых через регулярные промежутки времени, а также 
изображения, рассматриваемые как двумерная сетка пикселей. Сверточные сети до-
бились колоссального успеха в практических приложениях. Своим названием они 
обязаны использованию математической операции 
свертки
. Свертка – это особый 
вид линейной операции. 
Сверточные сети – это просто нейронные сети, в которых 
вместо общей операции умножения на матрицу, по крайней мере в одном слое, исполь-
зуется свертка.
В этой главе мы сначала опишем, что такое свертка. Затем мы объясним причины 
использования свертки в нейронных сетях. Далее будет описана операция 
пулин-
га
, применяемая почти во всех сверточных сетях. Обычно операция, используемая 
в сверточной нейронной сети, не вполне соответствует определению свертки в других 
областях, например в инженерных дисциплинах и в чистой математике. Мы опишем 
несколько вариантов функции свертки, широко применяемых в нейронных сетях. Мы 
также покажем, как можно применить свертку к различным видам данных в прост-
ранствах разной размерности. Затем мы обсудим, как повысить эффективность 
свертки. Сверточные сети – яркий пример того, как принципы нейробиологии ока-
зывают влияние на глубокое обучение. Мы обсудим эти принципы и завершим главу 
замечаниями о роли сверточных сетей в истории глубокого обучения. В этой главе не 
затрагивается вопрос о выборе архитектуры сверточной сети. Цель главы – описать 
инструментарий, предоставляемый сверточными сетями, а в главе 11 мы приведем 
общие рекомендации по выбору инструментов в конкретных условиях. Прогресс 
в изучении сверточных сетей настолько быстрый, что сообщения о новой оптималь-
ной архитектуре для данного эталонного теста появляются через каждые несколько 
недель или месяцев, поэтому называть какую-то архитектуру лучшей в книге пока 
преждевременно. Тем не менее все лучшие архитектуры скомпонованы из описанных 
в книге строительных блоков.