Я. Гудфеллоу, И. Бенджио, А. Курвилль

Рис. 1.10 

Рост количества соединений в расчете на один нейрон со 
временем. Первоначально число соединений между нейронами в искус-
ственной нейронной сети было ограничено возможностями оборудования. 
Сегодня оно в основном является параметром проектирования. В некото-
рых нейронных сетях число соединений почти такое же, как у кошки, а сети 
с числом соединений, как у мелких млекопитающих типа мыши, встреча-
ются сплошь и рядом. Даже в мозге человека число соединений на нейрон 
нельзя назвать заоблачным. Размеры биологических нейронных сетей взя-
ты из Википедии (2015)
1. Адаптивный линейный элемент (Widrow and Hoff, 1960)
2. Неокогнитрон (Fukushima, 1980)
3. GPU-ускоренная сверточная сеть (Chellapilla et al., 2006)
4. Глубокая машина Больцмана (Salakhutdinov and Hinton, 2009a)
5. Сверточная сеть без учителя (Jarrett et al., 2009)
6. GPU-ускоренный многослойный перцептрон (Ciresan et al., 2010)
7. Распределенный автокодировщик (Le et al., 2012)
8. Сверточная сеть с несколькими GPU (Krizhevsky et al., 2012)
9. Сверточная сеть без учителя на компьютерах типа COTS HPC (Coates et al., 2013)
10. GoogLeNet (Szegedy et al., 2014a)
В ретроспективе не кажется удивительным, что нейронные сети с числом нейронов 
меньше, чем у пиявки, не могли справиться с решением сложных задач искусствен-
ного интеллекта. Даже нынешние сети, которые мы считаем очень большими с вы-
числительной точки зрения, меньше нервной системы сравнительно примитивных 
позвоночных животных, например лягушек.
Увеличение размера моделей вследствие доступности более быстрых процессоров, 
GPU общего назначения (см. раздел 12.1.2), более быстрых сетей и более совершен-
ной инфраструктуры распределенных вычислений – одна из самых важных тенден-
ций в истории глубокого обучения. Ожидается, что она продолжится и в будущем.

---