Я. Гудфеллоу, И. Бенджио, А. Курвилль

311
 

Хотя частота пульсации в зоне IT отражает примерно ту же информацию, что 
признаки сверточной сети, не ясно, насколько похожи промежуточные вычис-
ления. Вероятно, в мозгу используются совершенно другие функции актива-
ции и пулинга. Активацию отдельного нейрона вряд ли можно хорошо оха-
рактеризовать откликом одного линейного фильтра. Недавняя модель зоны 
V1 включает четыре квадратичных фильтра для каждого нейрона (Rust et al., 
2005). Вообще, наше схематичное разделение на «простые» и «сложные» клет-
ки может отражать несуществующее различие; возможно, что простые и слож-
ные клетки – это один и тот же вид клеток, но их «параметры» допускают бес-
конечную градацию поведения – от «простого» до «сложного».
Отметим также, что нейробиология мало что говорит о том, как 
обучать
сверточ-
ные сети. Структуры моделей с разделением параметров между несколькими прост-
ранственными областями восходят еще к ранним коннекционистским моделям 
зрения (Marr and Poggio, 1976), но в этих моделях не использовались современные 
алгоритмы обратного распространения и градиентного спуска. Так, неокогнитрон 
(Fukushima, 1980) включал большинство архитектурных элементов современной 
сверточной сети, но опирался на алгоритм послойной кластеризации без учителя.
В работе Lang and Hinton (1988) впервые использовалось обратное распростране-
ние для обучения 
нейронных сетей с временной задержкой
(time-delay neural net-
work – TDNN). В современной терминологии TDNN – это одномерная сверточная 
сеть в применении к временным рядам. Применение обратного распространения в та-
ких моделях не основано ни на каких нейробиологических наблюдениях, и некото-
рые ученые считают его биологически неправдоподобным. На волне успеха обучения 
TDNN на основе обратного распространения в работе LeCun et al. (1989) была разра-
ботана современная сверточная сеть путем применения того же алгоритма обучения 
к двумерным сверткам изображений.
До сих пор мы говорили, что простые клетки приблизительно линейны и изби-
рательны к некоторым признакам, что сложные клетки в большей степени нели-
нейны и приобретают инвариантность относительно некоторых преобразований 
признаков, найденных простыми клетками, и что наличие нескольких уровней, 
чередующих избирательность и инвариантность, возможно, приводит к бабуш-
киным клеткам, распознающим конкретные явления. Мы еще точно не описали, 
что могут обнаруживать эти индивидуальные клетки. В глубокой нелинейной сети 
трудно понять функции отдельных клеток. Простые клетки первого уровня про-
анализировать легче, потому что их отклик описывается линейной функцией. В ис-
кусственной нейронной сети мы можем просто показать изображение ядра свертки 
и увидеть, на что реагирует соответствующий канал сверточного слоя. В биологи-
ческой нейронной сети у нас нет доступа к самим весам. Вместо этого мы подводим 
электрод к нейрону, помещаем несколько примеров белого шума перед сетчаткой 
животного и регистрируем, какие примеры приводят к возбуждению нейрона. За-
тем мы подгоняем к этим откликам линейную модель, чтобы получить аппроксима-
цию весов нейронов.
Этот подход, получивший название