Я. Гудфеллоу, И. Бенджио, А. Курвилль

блоком линей-
ной ректификации
. Оригинальная модель когнитрона (Fukushima, 1975) была более 
сложной, основанной на наших знаниях о работе мозга. В современной упрощенной 
модели объединены различные точки зрения; в работах Nair and Hinton (2010) и Glo-
rot et al. (2011a) отмечено влияние нейробиологии, а в работе Jarrett et al. – скорее, 
инженерных дисциплин. Каким бы важным источником идей ни была нейробиоло-
гия, считать, что от нее нельзя отклониться ни на шаг, вовсе необязательно. Мы знаем, 
что настоящие нейроны вычисляют совсем не те функции, что блоки линейной рек-
тификации, но большее приближение к реальности пока не привело к повышению ка-
чества машинного обучения. Кроме того, хотя нейробиология легла в основу несколь-
ких успешных архитектур нейронных сетей, мы до сих пор знаем о биологическом 
обучении недостаточно, чтобы полнее использовать нейробиологию для построения 
алгоритмов обучения
этих архитектур.
В социальных сетях часто подчеркивают сходство между глубоким обучением 
и мозгом. Да, действительно, исследователи, занимающиеся глубоким обучением, 
чаще говорят о влиянии аналогий с мозгом на свою работу, чем те, кто занимается 
другими методами машинного обучения, например ядерными методами или байесов-
ской статистикой. Но не следует думать, что цель глубокого обучения – попытка ими-
тировать мозг. Современное глубокое обучение черпает идеи из разных дисциплин, 
особенно из таких отраслей прикладной математики, как линейная алгебра, теория 
вероятностей, теория информации и численная оптимизация. Некоторые ученые 
считают нейробиологию важным источником идей, другие не упоминают ее вовсе.
Отметим, что попытки понять, как работает мозг на алгоритмическом уровне, 
не прекращаются. Эта область исследований, известная под названием «вычис-
лительная нейробиология», не совпадает с глубоким обучением. Нередко ученые 

---