Я. Гудфеллоу, И. Бенджио, А. Курвилль

310 

 
Сверточные сети
человека или объекта, увидев его имя или название. Ближайшим аналогом последне-
го слоя признаков сверточной сети является область мозга, называемая 
инферотем-
поральной корой
(IT). При рассматривании объекта информация попадает сначала на 
сетчатку, проходит через латеральное коленчатое тело в зону V1, затем в V2, потом 
в V4 и, наконец, в IT. Это происходит в течение первых 100 мс после попадания объ-
екта в поле зрения. Если человек получает возможность смотреть на объект дольше, 
то информация начинает течь в обратном направлении, т. к. мозг использует нисходя-
щую обратную связь, чтобы обновить активации в областях нижних уровней. Но если 
прервать взгляд и понаблюдать только за частотой пульсации в результате первых 
100 мс, отведенных в основном на активацию прямой связи, то зона IT оказывается 
похожей на сверточную сеть. Сверточные сети могут предсказать частоту пульсации 
IT и работают аналогично человеку (с его временными ограничениями) при решении 
задач распознавания объектов (DiCarlo, 2013).
Вместе с тем существует много различий между сверточными сетями и зритель-
ной системой млекопитающих. Некоторые из них хорошо известны компьютерным 
нейробиологам, но выходят за рамки книги. Другие пока неизвестны, потому что на 
многие вопросы о зрительной системе млекопитающих еще нет ответов. Приведем 
лишь краткий перечень.
 

У человеческого глаза очень низкое разрешение всюду, кроме небольшого пят-
на, называемого 
центральной ямкой
, которая видит область размером при-
мерно с ноготь большого пальца на расстоянии вытянутой руки. Нам кажется, 
что мы видим всю сцену с высокой разрешающей способностью, но на самом 
деле это иллюзия, создаваемая подсознательной частью мозга, которая сшива-
ет много фрагментов малых областей. Большинство сверточных сетей полу-
чает на входе большие фотографии высокого разрешения. Человеческий мозг 
вынуждает глаза совершить несколько быстрых скачкообразных движений 
(
саккад
) для рассматривания самых выделяющихся или относящихся к задаче 
частей сцены. Включение аналогичных механизмов внимания в модели глубо-
кого обучения – направление активных исследований. В контексте глубокого 
обучения механизмы внимания добились наибольшего успеха при обработке 
естественных языков (см. раздел 12.4.5.1). Было разработано несколько моде-
лей зрения с механизмами, аналогичными центральной ямке, но пока они не 
могут претендовать на роль доминирующего подхода (Larochelle and Hinton, 
2010; Denil et al., 2012).
 

Зрительная система человека интегрирована с другими органами чувств, на-
пример слухом, а также такими факторами, как наше настроение и мысли. 
Сверточные сети пока относятся только к зрению.
 

Зрительная система человека отвечает далеко не только за распознавание 
объектов. Она способна понимать целые сцены, включающие много объектов 
и связей между ними, и умеет обрабатывать сложную трехмерную геометриче-
скую информацию, без чего наше тело не могло бы взаимодействовать с окру-
жающим миром. Были попытки применить сверточные сети к решению таких 
задач, но пока эти исследования пребывают в зачаточном состоянии.
 

Даже такие простые области мозга, как зона V1, сильно зависят от обратной 
связи с более высокими уровнями. Применению обратной связи в нейронных 
сетях посвящено много работ, но пока с ее помощью не удалось достичь су-
щественного улучшения.

---

Нейробиологические основания сверточных сетей 
