Я. Гудфеллоу, И. Бенджио, А. Курвилль

1.2. Исторические тенденции в машинном обучении
Понять глубокое обучение проще всего в историческом контексте. Мы не станем 
детально описывать историю глубокого обучения, а выделим несколько ключевых 
тенденций:
 

у глубокого обучения долгая и богатая история, но оно фигурировало под раз-
ными названиями, отражающими различные философские воззрения, в связи 
с чем его популярность то усиливалась, то ослабевала;
 

полезность глубокого обучения возросла, когда увеличился объем доступных 
обучающих данных;
 

размер моделей глубокого обучения увеличивался по мере того, как совершен-
ствовалась компьютерная инфраструктура (программная и аппаратная);
 

со временем с помощью глубокого обучения удавалось решать все более слож-
ные задачи со все большей точностью.

---

30 

 
Введение
1. Введение
2. Линейная алгебра
6. Глубокие сети прямого распространения
4. Численные методы
8. Оптимизация
3. Теория вероятностей 
и теория информации
7. Регуляризация
5. Основы машинного 
обучения
9. Сверточные
нейронные сети
11. Практическая 
методология
10. Рекуррентные 
нейронные сети
17. Методы
Монте-Карло
16. Структурные
вероятностные модели
18. Статистическая 
сумма
19. Логический вывод
15. Обучение
представлений
13. Линейные
факторные модели
14. Автокодировщики
20. Глубокие
порождающие модели
12. Приложения
Часть I. Основы математики и машинного обучения
Часть II. Глубокие сети: современные методы
Часть III. Исследования по глубокому обучению
Рис. 1.6 

Структура книги. Стрелки означают,
что одна глава содержит материал, необходимый для понимания другой