Я. Гудфеллоу, И. Бенджио, А. Курвилль

38 

 
Введение
Рис. 1.9 

Несколько примеров из набора данных MNIST. Акроним «NIST» 
означает «National Institute of Standards and Technology» (Национальный 
инс титут стандартов и технологий) – учреждение, первоначально собрав-
шее эти данные. А буква «M» означает «модифицированный», поскольку 
данные были подвергнуты предварительной обработке, чтобы упростить 
применение алгоритмов машинного обучения. Набор данных MNIST содер-
жит отсканированные изображения рукописных цифр и ассоциированные 
с ними метки, описывающие, какая цифра от 0 до 9 изображена. Это одна из 
самых простых задач классификации, поэтому набор широко используется 
для тестирования в исследованиях по глубокому обучению. Он сохраняет 
популярность, хотя для современных методов задача не представляет тру-
да. Джеффри Хинтон назвал его «дрозофилой машинного обучения», имея 
в виду, что он позволяет специалистам по машинному обучению исследо-
вать свои алгоритмы в контролируемых лабораторных условиях, как био-
логи изучают фруктовых мушек
Если говорить об общем числе нейронов, то до недавнего времени нейронные сети 
были на удивление малы (рис. 1.11). После добавления скрытых блоков размер ис-
кусственных нейронных сетей удваивался в среднем каждые 2,4 года, чему способст-
вовало появление более быстрых компьютеров с большим объемом памяти, а также 
наличие крупных наборов данных. Чем больше сеть, тем выше ее точность на более 
сложных задачах. Эта тенденция прослеживается на протяжении десятилетий. Если 
темпы масштабирования не ускорятся в результате внедрения новых технологий, то 
искусственная нейронная сеть сравняется с человеческим мозгом по числу нейронов 

---

Исторические тенденции в машинном обучении 

39
не раньше 2050-х годов. Биологические нейроны могут представлять более сложные 
функции, чем современные искусственные, поэтому биологические нейронные сети 
могут оказаться даже больше, чем показано на диаграмме.
Количество соединений 
на один нейрон
10
1
10
2
10
3
10
4
1950
1985
2000
2015
Фруктовая 
мушка
Мышь
Кошка
Человек