Я. Гудфеллоу, И. Бенджио, А. Курвилль

Разделение параметров, 
220
, 
287
, 
316
, 
317
, 
329
Разделенность, 
480
Разреженная инициализация, 
261
, 
343
Разреженное кодирование, 
275
, 
302
, 
417
, 
530
, 
580
Разреженное представление, 
134
, 
220
, 
424
Разрешение неоднозначности смысла слов, 
408
Ранняя остановка, 
213
, 
214
, 
216
, 
358
Распараллеливание по данным, 
376
Распараллеливания модели, 
376
Распознавание объектов, 
381
Распределение вероятности, 
64
Распределение Гиббса, 
477
Распределенное представление, 
34
, 
138
, 
459
Распространение по касательной, 
234
Регрессия методом ближайшего соседа, 
110
Регуляризатор, 
114
Регуляризация, 
114
, 
158
, 
199
, 
362
Регуляризация Тихонова, 
201
Резервуарные вычисления, 
341
Рекомендательные системы, 
402
Рекуррентная нейронная сеть, 
40
, 
320
Реляционная база данных, 
406
Репрезентативная емкость, 
108
Рецептивное поле, 
287
Решающее дерево, 
132
, 
460
Риск, 
238
РНС-ОМБ, 
574
С
Свертка, 
282
, 
572
Сверточная нейронная сеть, 
220
, 
282
, 
358
, 
387
Сверточная сеть, 
33
Свободная энергия, 
480
, 
569
Связывание параметров. 
См
. Разделение 
параметров
Сглаживание меток, 
211
СГС. 
См
. Стохастический градиентный спуск
Седловые точки, 
246
Семантическое хэширование, 
441
Сеперабельное ядро свертки, 
306
Сети со смесовой плотностью, 
167
Сеть доверия. 
См
. Ориентированная графическая 
модель 
Сеть с памятью, 
351
Сеть сумм и произведений, 
466
Сжатие модели, 
377
Сжимающий автокодировщик, 
436
Сигмоидальная сеть доверия, 
40
Симметричная матрица, 
51
Симметрия пространства весов, 
245
Сингулярное значение, 
55
Сингулярное разложение, 
54
, 
136
, 
403
Сингулярный вектор, 
55
Система фильтрации по содержимому, 
404
Скаляр, 
44
Скалярное произведение, 
46
, 
130
Скорость обучения, 
86
Скрытый слой, 
25
, 
151
Сложная клетка, 
309
Слой (нейронной сети), 
150
Случайная величина, 
63
Случайный поиск, 
365
Смесь распределений, 
71
Смещение, 
117
, 
200
Смещенная выборка по значимости, 
498
СМП. 
См
. Стохастическая максимизация 
правдоподобия
Снижение весов, 
113
, 
158
, 
201
, 
363
Сновидения, 
512
, 
547
СНС. 
См
. Сверточная нейронная сеть
Собственная информация, 
77
Собственное значение, 
53
Собственный вектор, 
52
Совместное распределение вероятности, 
64
Сопоставительное расхождение, 
250
, 
512
, 
563
Сопоставление моментов, 
589
Сопоставление рейтингов, 
430
, 
519
Состоятельность, 
122
, 
430
Состоятельность, 
122
Состязательное обучение, 
232
, 
236
, 
446
Состязательный пример, 
232
Спектральное разложение, 
52
Спектральный радиус, 
341
Сравнение с образцом, 
131
Среднее поле, 
536
, 
562
Среднеквадратическая ошибка, 
104

---

650 

 
Предметный указатель
Стандартная ошибка, 
119
Стандартная ошибка среднего, 
120
, 
240
Стандартное отклонение, 
67
Статистика, 
116
Статистическая сумма, 
477
, 
508
, 
560
Стохастическая максимизация
правдоподобия, 
514
, 
562
Стохастический градиентный спуск, 
32
, 
138
, 
241
, 
253
, 
562
Стохастический пулинг, 
231
Стохастическое обратное распространение, 
576
Структурная вероятностная модель, 
79
Структурное обучение, 
489
Суррогатная функция потерь, 
239
Сферинг. 
См
. Отбеливание
Сходимость почти наверное, 
122
Т
Тангенциальное расстояние, 
234
Темперирование, 
506
Тензор, 
45
Теорема об отсутствии бесплатных завтраков, 
112
Теория меры, 
75
Теория статистического обучения, 
106
Теплица теорема, 
284
Тестовый набор, 
104
Топографический вариант ICA, 
415
Точечная оценка, 
116
Точность, 
357
Точность (нормального распределения), 
69
, 
70
Транскрипция, 
98
Транспонирование, 
45
Триангулированный граф. 
См
. Хордовый граф
Триграмма, 
388
У
Укладывание, 
46
Универсальная теорема аппроксимации, 
174
Универсальный аппроксиматор, 
465
Униграмма, 
388
Упругое обратное распространение. 
См
. Rprop, 
алгоритм
Условная вероятность, 
65
Условная независимость, 
66
Условная ОМБ, 
574
Условное вычисление, 
377
Усреднение моделей, 
222
Ф
Фактор (графическая модель), 
476
Факторный анализ, 
412
Факторный граф, 
486
Факторы вариативности, 
24
Форсирование учителя, 
324
Фробениуса норма, 
56
Функциональная производная, 
542
Функция активации, 
152
Функция вероятности, 
64
Функция ошибок. 
См
. Целевая функция
Функция плотности вероятности, 
64
Функция потерь. 
См
. Целевая функция
Функция стоимости. 
См
. Целевая Функция
Функция энергии, 
478
Фурье преобразование, 
305
, 
306
Х
Хорда, 
484
Хордовый граф, 
485
Ц
Цветные изображения, 
304
Целевая функция, 
84
Центральная предельнойая теорема, 
70
Центральная ямка, 
310
Центрирование (ГМБ), 
564
Цепное правило вероятностей, 
66
Цикл, 
486
Циклическое распространение доверия, 
492
Ч
Частная производная, 
86
Частотная вероятность, 
63
Частотные статистики, 
125
Число обусловленности, 
83
, 
241
Ш
Шахматы, 
21
Шеннона энтропия, 
77
Шумоподавляющее сопоставление рейтингов, 
521
Шумоподавляющий автокодировщик, 
429
, 
577
Шумосопоставительное оценивание, 
521
Э
Эйлера-Лагранжа уравнение, 
542
Эквивариантность, 
287
Экспоненциальное распределение, 
70
Эмпирический риск, 
238
Эмпирическое распределение, 
71
Энергетическая модель, 
478
, 
499
, 
548
, 
556
Эффективная емкость, 
108
Эхо-сеть, 
40
, 
341
Я
Ядерные методы, 
460
Ядро (свертки), 
283
Якоби матрица, 
76
, 
87
A
AdaGrad, 
264
ADALINE. 
См
. Адаптивный линейный элемент
Adam, 
265
, 
358
AIS. 
См
. Выборка по значимости с отжигом
B
BFGS, 
271
C
CAE. 
См
. Сжимающий автокодировщик

---

Предметный указатель 

651
CD. 
См
. Сопоставительное расхождение 
Cyc, проект, 
22
D
DAE. 
См
. Шумоподавляющий автокодировщик
DCGAN, 
588
Deep Blue, 
21
DropConnect, 
230
d-разделенность, 
480
E
EBM. 
См
. Энергетическая модель
ELBO. 
См
. Нижняя граница свидетельств
EMD. 
См
. Расстояние землекопа, алгоритм; 
Расстояние землекопа, алгоритм
EM-алгоритм, 
532
E-шаг, 
532
F
FPCD, 
516
Freebase, 
406
F-мера, 
357
G
GeneOntology, 
407
GPU. 
См
. Графический процессор
H
hardtanh, 
173
I
ImageNet Large Scale Visual Recognition Challenge 
(ILSVRC), 
41
K
k ближайших соседей метод, 
132
, 
460
k средних метод, 
308
, 
460
L
LAPGAN, 
588
Lp, норма, 
50
LSTM. 
См
. Долгая краткосрочная память
M
maxout-блок, 
170
, 
358
max-пулинг, 
290
MCMC. 
См
. Методы Монте-Карло по схеме 
марковской цепи
MNIST, 
37
, 
38
, 
562
M-шаг, 
533
N
NADE, 
593
Netflix Grand Prize, 
223
, 
403
n-грамма, 
388
O
OMP-k. 
См
. Ортогональное согласованное 
преследование
OpenCyc, 
406
P
PCA. 
См
. Метод главных компонент
R
RBF. 
См
. Радиально-базисная функция
REINFORCE, 
577
ReLU с утечкой, 
170
S
softmax, 
163
, 
352
, 
378
softplus, 
73
, 
173
Spearmint, 
367
Spike and Slab, тип ограниченной машины 
Больцмана, 
570
ssRBM, 
570
T
TDNN. 
См
. Нейронные сети с временной 
задержкой
V
VAE. 
См
. Вариационный автокодировщик
VC-размерность. 
См
. Вапника-Червоненкиса 
размерность
V-структура, 
482
W
Wikibase, 
406
WordNet, 
406

---

Книги издательства «ДМК Пресс» можно заказать 
в торгово-издательском холдинге «Планета Альянс» наложенным платежом,
выслав открытку или письмо по почтовому адресу:
115487, г. Москва, 2-й Нагатинский пр-д, д. 6А.
При оформлении заказа следует указать адрес (полностью), 
по которому должны быть высланы книги; 
фамилию, имя и отчество получателя.
Желательно также указать свой телефон и электронный адрес.
Эти книги вы можете заказать и в интернет-магазине: 
www.alians-kniga.ru
.
Оптовые закупки: тел. 
[phone]
.
Электронный адрес: 
[e-mail]
.
Ян Гудфеллоу, Иошуа Бенджио, Аарон Курвилль
Глубокое обучение
Главный редактор
 
Мовчан Д. А. 
[e-mail]
Перевод 
Слинкин А. А.
Корректор 
Синяева Г. И.
Верстка
 
Чаннова А. А.
Дизайн обложки 
Мовчан А. Г.
Формат 70
×
100 1/16. 
Гарнитура «Петербург». Печать офсетная.
Усл. печ. л. 61,125. Тираж 200 экз. 
Веб-сайт издательства: 
www.дмк.рф

---

Document Outline

• Веб-сайт
• Благодарности
• Обозначения
• Введение
• 1.1. На кого ориентирована эта книга
• 1.2. Исторические тенденции в машинном обучении
• 1.2.1. Нейронные сети: разные названия и переменчивая фортуна
• 1.2.2. Увеличение размера набора данных
• 1.2.3. Увеличение размера моделей
• 1.2.4. Повышение точности и сложности и расширение круга задач
• Основы прикладной математики и машинного обучения
• Линейная алгебра
• 2.1. Скаляры, векторы, матрицы и тензоры
• 2.2. Умножение матриц и векторов
• 2.3. Единичная и обратная матрица
• 2.4. Линейная зависимость и линейная оболочка
• 2.5. Нормы
• 2.6. Специальные виды матриц и векторов
• 2.7. Спектральное разложение матрицы
• 2.8. Сингулярное разложение
• 2.9. Псевдообратная матрица Мура–Пенроуза
• 2.10. Оператор следа
• 2.11. Определитель
• 2.12. Пример: метод главных компонент
• Теория вероятности и теория информации
• 3.1. Зачем нужна вероятность?
• 3.2. Случайные величины
• 3.3. Распределения вероятности
• 3.3.1. Дискретные случайные величины и функции вероятности
• 3.3.2. Непрерывные случайные величины и функции плотности вероятности
• 3.4. Маргинальное распределение вероятности
• 3.5. Условная вероятность
• 3.6. Цепное правило
• 3.7. Независимость и условная независимость
• 3.8. Математическое ожидание, дисперсия и ковариация
• 3.9. Часто встречающиеся распределения вероятности
• 3.9.1. Распределение Бернулли
• 3.9.2. Категориальное распределение
• 3.9.3. Нормальное распределение
• 3.9.4. Экспоненциальное распределение и распределение Лапласа
• 3.9.5. Распределение Дирака и эмпирическое распределение
• 3.9.6. Смеси распределений
• 3.10. Полезные свойства употребительных функций
• 3.11. Правило Байеса
• 3.12. Технические детали непрерывных величин
• 3.13. Теория информации
• 3.14. Структурные вероятностные модели
• Численные методы
• 4.1. Переполнение и потеря значимости
• 4.2. Плохая обусловленность
• 4.3. Оптимизация градиентным методом
• 4.3.1. Не только градиент: матрицы Якоби и Гессе
• 4.4. Оптимизация с ограничениями
• 4.5. Пример: линейный метод наименьших квадратов
• Основы машинного обучения
• 5.1. Алгоритмы обучения
• 5.1.1. Задача T
• 5.1.2. Мера качества P
• 5.1.3. Опыт E
• 5.1.4. Пример: линейная регрессия
• 5.2. Емкость, переобучение и недообучение
• 5.2.1. Теорема об отсутствии бесплатных завтраков
• 5.2.2. Регуляризация
• 5.3. Гиперпараметры и контрольные наборы
• 5.3.1. Перекрестная проверка
• 5.4. Оценки, смещение и дисперсия
• 5.4.1. Точечное оценивание
• 5.4.2. Смещение
• 5.4.3. Дисперсия и стандартная ошибка
• 5.4.4. Поиск компромисса между смещением и дисперсией для минимизации среднеквадратической ошибки
• 5.4.5. Состоятельность
• 5.5. Оценка максимального правдоподобия
• 5.5.1. Условное логарифмическое правдоподобие и среднеквадратическая ошибка
• 5.5.2. Свойства максимального правдоподобия 
• 5.6. Байесовская статистика
• 5.6.1. Оценка апостериорного максимума (MAP)
• 5.7. Алгоритмы обучения с учителем
• 5.7.1. Вероятностное обучение с учителем
• 5.7.2. Метод опорных векторов
• 5.7.3. Другие простые алгоритмы обучения с учителем
• 5.8. Алгоритмы обучения без учителя
• 5.8.1. Метод главных компонент
• 5.8.2. Кластеризация методом k средних
• 5.9. Стохастический градиентный спуск
• 5.10. Построение алгоритма машинного обучения
• 5.11. Проблемы, требующие глубокого обучения
• 5.11.1. Проклятие размерности
• 5.11.2. Регуляризация для достижения локального постоянства и гладкости
• 5.11.3. Обучение многообразий
• Глубокие сети: современные подходы
• Глубокие сети прямого распространения
• 6.1. Пример: обучение XOR
• 6.2. Обучение градиентными методами
• 6.2.1. Функции стоимости
• 6.2.2. Выходные блоки
• 6.3. Скрытые блоки
• 6.3.1. Блоки линейной ректификации и их обобщения
• 6.3.2. Логистическая сигмоида и гиперболический тангенс
• 6.3.3. Другие скрытые блоки
• 6.4. Проектирование архитектуры
• 6.4.1. Свойства универсальной аппроксимации и глубина
• 6.4.2. Другие архитектурные подходы
• 6.5. Обратное распространение и другие алгоритмы дифференцирования
• 6.5.1. Графы вычислений
• 6.5.2. Правило дифференцирования сложной функции
• 6.5.3. Рекурсивное применение правила дифференцирования сложной функции для получения алгоритма обратного распространения
• 6.5.4. Вычисление обратного распространения в полносвязном МСП
• 6.5.5. Символьно-символьные производные
• 6.5.6. Общий алгоритм обратного распространения
• 6.5.7. Пример: применение обратного распространения к обучению МСП
• 6.5.8. Осложнения
• 6.5.9. Дифференцирование за пределами сообщества глубокого обучения
• 6.5.10. Производные высшего порядка
• 6.6. Исторические замечания
• Регуляризация в глубоком обучении
• 7.1. Штрафы по норме параметров
• 7.1.1. Регуляризация параметров по норме L2
• 7.1.2. L1-регуляризация
• 7.2. Штраф по норме как оптимизация с ограничениями
• 7.3. Регуляризация и недоопределенные задачи
• 7.4. Пополнение набора данных
• 7.5. Робастность относительно шума
• 7.5.1. Привнесение шума в выходные метки
• 7.6. Обучение с частичным привлечением учителя
• 7.7. Многозадачное обучение
• 7.8. Ранняя остановка
• 7.9. Связывание и разделение параметров
• 7.9.1. Сверточные нейронные сети
• 7.10. Разреженные представления
• 7.11. Баггинг и другие ансамблевые методы
• 7.12. Прореживание
• 7.13. Состязательное обучение
• 7.14. Тангенциальное расстояние, алгоритм распространения по касательной и классификатор по касательной к многообразию
• Оптимизация в обучении глубоких моделей
• 8.1. Чем обучение отличается от чистой оптимизации
• 8.1.1. Минимизация эмпирического риска
• 8.1.2. Суррогатные функции потерь и ранняя остановка
• 8.1.3. Пакетные и мини-пакетные алгоритмы
• 8.2. Проблемы оптимизации нейронных сетей
• 8.2.1. Плохая обусловленность
• 8.2.2. Локальные минимумы
• 8.2.3. Плато, седловые точки и другие плоские участки
• 8.2.4. Утесы и резко растущие градиенты
• 8.2.5. Долгосрочные зависимости
• 8.2.6. Неточные градиенты
• 8.2.7. Плохое соответствие между локальной и глобальной структурами
• 8.2.8. Теоретические пределы оптимизации
• 8.3. Основные алгоритмы
• 8.3.1. Стохастический градиентный спуск
• 8.3.2. Импульсный метод
• 8.3.3. Метод Нестерова
• 8.4. Стратегии инициализации параметров
• 8.5. Алгоритмы с адаптивной скоростью обучения
• 8.5.1. AdaGrad
• 8.5.2. RMSProp
• 8.5.3. Adam
• 8.5.4. Выбор правильного алгоритма оптимизации
• 8.6. Приближенные методы второго порядка
• 8.6.1. Метод Ньютона
• 8.6.2. Метод сопряженных градиентов
• 8.6.3. Алгоритм BFGS
• 8.7. Стратегии оптимизации и метаалгоритмы
• 8.7.1. Пакетная нормировка
• 8.7.2. Покоординатный спуск
• 8.7.3. Усреднение Поляка
• 8.7.4. Предобучение с учителем
• 8.7.5. Проектирование моделей с учетом простоты оптимизации
• 8.7.6. Методы продолжения и обучение по плану
• Сверточные сети
• 9.1. Операция свертки
• 9.2. Мотивация
• 9.3. Пулинг
• 9.4. Свертка и пулинг как бесконечно сильное априорное распределение
• 9.5. Варианты базовой функции свертки
• 9.6. Структурированный выход
• 9.7. Типы данных
• 9.8. Эффективные алгоритмы свертки
• 9.9. Случайные признаки и признаки, обученные без учителя
• 9.10. Нейробиологические основания сверточных сетей
• 9.11. Сверточные сети и история глубокого обучения
• Моделирование последовательностей: рекуррентные и рекурсивные сети
• 10.1. Развертка графа вычислений
• 10.2. Рекуррентные нейронные сети
• 10.2.1. Форсирование учителя и сети с рекурсией на выходе
• 10.2.2. Вычисление градиента в рекуррентной нейронной сети
• 10.2.3. Рекуррентные сети как ориентированные графические модели
• 10.2.4. Моделирование контекстно-обусловленных последовательностей с помощью РНС
• 10.3. Двунаправленные РНС
• 10.4. Архитектуры кодировщик-декодер или последовательность в последовательность
• 10.5. Глубокие рекуррентные сети
• 10.6. Рекурсивные нейронные сети
• 10.7. Проблема долгосрочных зависимостей
•  10.8. Нейронные эхо-сети
• 10.9. Блоки с утечками и другие стратегии нескольких временных масштабов
• 10.9.1. Добавление прямых связей сквозь время
• 10.9.2. Блоки с утечкой и спектр разных временных масштабов
• 10.9.3. Удаление связей
• 10.10. Долгая краткосрочная память и другие вентильные РНС
• 10.10.1. Долгая краткосрочная память
• 10.10.2. Другие вентильные РНС
• 10.11. Оптимизация в контексте долгосрочных зависимостей
• 10.11.1. Отсечение градиентов
• 10.11.2. Регуляризация с целью подталкивания информационного потока
• 10.12. Явная память
• Практическая методология
• 11.1. Показатели качества
• 11.2. Выбор базовой модели по умолчанию
• 11.3. Надо ли собирать дополнительные данные?
• 11.4. Выбор гиперпараметров
• 11.4.1. Ручная настройка гиперпараметров
• 11.4.2. Алгоритмы автоматической оптимизации гиперпараметров
• 11.4.3. Поиск на сетке
• 11.4.4. Случайный поиск
• 11.4.5. Оптимизация гиперпараметров на основе модели
• 11.5. Стратегии отладки
• 11.6. Пример: распознавание нескольких цифр
• Приложения
• 12.1. Крупномасштабное глубокое обучение
• 12.1.1. Реализации на быстрых CPU
• 12.1.2. Реализации на GPU
• 12.1.3. Крупномасштабные распределенные реализации
• 12.1.4. Сжатие модели
• 12.1.5. Динамическая структура
• 12.1.6. Специализированные аппаратные реализации глубоких сетей
• 12.2. Компьютерное зрение
• 12.2.1. Предобработка
• 12.3. Распознавание речи
• 12.4. Обработка естественных языков
• 12.4.1. n-граммы
• 12.4.2. Нейронные языковые модели
• 12.4.3. Многомерные выходы
• 12.4.4. Комбинирование нейронных языковых моделей с n-граммами
• 12.4.5. Нейронный машинный перевод
• 12.4.6. Историческая справка
• 12.5. Другие приложения
• 12.5.1. Рекомендательные системы
• 12.5.2. Представление знаний, рассуждения и ответы на вопросы
• Исследования по глубокому обучению
• Линейные факторные модели
• 13.2. Анализ независимых компонент (ICA)
• 13.3. Анализ медленных признаков
• 13.4. Разреженное кодирование
• 13.5. Интерпретация PCA в терминах многообразий
• Автокодировщики
• 14.1. Понижающие автокодировщики
• 14.2. Регуляризированные автокодировщики
• 14.2.1. Разреженные автокодировщики
• 14.2.2. Шумоподавляющие автокодировщики
• 14.2.3. Регуляризация посредством штрафования производных
• 14.3. Репрезентативная способность, размер слоя и глубина
• 14.4. Стохастические кодировщики и декодеры
• 14.5. Шумоподавляющие автокодировщики
• 14.5.1. Сопоставление рейтингов
• 14.6. Обучение многообразий с помощью автокодировщиков
• 14.7. Сжимающие автокодировщики
• 14.8. Предсказательная разреженная декомпозиция
• 14.9. Применения автокодировщиков
• Обучение представлений
• 15.1. Жадное послойное предобучение без учителя
• 15.1.1. Когда и почему работает предобучение без учителя?
• 15.2. Перенос обучения и адаптация домена
• 15.3. Разделение каузальных факторов с частичным привлечением учителя
• 15.4. Распределенное представление
• 15.5. Экспоненциальный выигрыш от глубины
• 15.6. Ключ к выявлению истинных причин
• Структурные вероятностные модели в глубоком обучении
• 16.1. Проблема бесструктурного моделирования
• 16.2. Применение графов для описания структуры модели
• 16.2.1. Ориентированные модели
• 16.2.2. Неориентированные модели
• 16.2.3. Статистическая сумма
• 16.2.4. Энергетические модели
• 16.2.5. Разделенность и d-разделенность
• 16.2.6. Преобразование между ориентированными и неориентированными графами
• 16.2.7. Факторные графы
• 16.3. Выборка из графических моделей
• 16.4. Преимущества структурного моделирования
• 16.5. Обучение и зависимости
• 16.6. Вывод и приближенный вывод
• 16.7. Подход глубокого обучения к структурным вероятностным моделям
• 16.7.1. Пример: ограниченная машина Больцмана
• Методы Монте-Карло
• 17.1. Выборка и методы Монте-Карло
• 17.1.1. Зачем нужна выборка?
• 17.1.2. Основы выборки методом Монте-Карло
• 17.2. Выборка по значимости
• 17.3. Методы Монте-Карло по схеме марковской цепи
• 17.4. Выборка по Гиббсу
• 17.5. Проблема перемешивания разделенных мод
• 17.5.1. Применение темперирования для перемешивания мод
• 17.5.2. Глубина может помочь перемешиванию
• Преодоление трудностей, связанных со статической суммой
• 18.1. Градиент логарифмического правдоподобия
• 18.2. Стохастическая максимизация правдоподобия и сопоставительное расхождение
• 18.3. Псевдоправдоподобие
• 18.4. Сопоставление рейтингов и сопоставление отношений
• 18.5. Шумоподавляющее сопоставление рейтингов
• 18.6. Шумосопоставительное оценивание
• 18.7. Оценивание статистической суммы
• 18.7.1. Выборка по значимости с отжигом 
• 18.7.2. Мостиковая выборка
• Приближенный вывод
• 19.1. Вывод как оптимизация
• 19.2. EM-алгоритм
• 19.3. MAP-вывод и разреженное кодирование
• 19.4. Вариационный вывод и обучение
• 19.4.1. Дискретные латентные переменные
• 19.4.2. Вариационное исчисление
• 19.4.3. Непрерывные латентные переменные
• 19.4.4. Взаимодействия между обучением и выводом
• 19.5. Обученный приближенный вывод
• 19.5.1. Бодрствование-сон
• 19.5.2. Другие формы обученного вывода
• Глубокие порождающие модели
• 20.1. Машины Больцмана
• 20.2. Ограниченные машины Больцмана
• 20.2.1. Условные распределения
• 20.2.2. Обучение ограниченных машин Больцмана
• 20.3. Глубокие сети доверия
• 20.4. Глубокие машины Больцмана
• 20.4.1. Интересные свойства
• 20.4.2. Вывод среднего поля в ГМБ
• 20.4.3. Обучение параметров ГМБ
• 20.4.4. Послойное предобучение
• 20.4.5. Совместное обучение глубоких машин Больцмана
• 20.5. Машины Больцмана для вещественных данных
• 20.5.1. ОМБ Гаусса–Бернулли
• 20.5.2. Неориентированные модели условной ковариации
• 20.6. Сверточные машины Больцмана
• 20.7. Машины Больцмана для структурных и последовательных выходов
• 20.8. Другие машины Больцмана
• 20.9. Обратное распространение через случайные операции
• 20.9.1. Обратное распространение через дискретные стохастические операции
• 20.10. Ориентированные порождающие сети
• 20.10.1. Сигмоидные сети доверия
• 20.10.2. Дифференцируемые генераторные сети
• 20.10.3. Вариационные автокодировщики
• 20.10.4. Порождающие состязательные сети
• 20.10.5. Порождающие сети с сопоставлением моментов
• 20.10.6. Сверточные порождающие сети
• 20.10.7. Авторегрессивные сети
• 20.10.8. Линейные авторегрессивные сети
• 20.10.9. Нейронные авторегрессивные сети
• 20.10.10. NADE
• 20.11. Выборка из автокодировщиков
• 20.11.1. Марковская цепь, ассоциированная с произвольным шумоподавляющим автокодировщиком
• 20.11.2. Фиксация и условная выборка
• 20.11.3. Возвратная процедура обучения
• 20.2. Порождающие стохастические сети
• 20.12.1. Дискриминантные GSN
• 20.13. Другие схемы порождения
• 20.14. Оценивание порождающих моделей
• 20.15. Заключение
• Список литературы