Я. Гудфеллоу, И. Бенджио, А. Курвилль

обучения многообразий
преодоле-
вают это препятствие, предполагая, что большая часть 
ℝ
n
– недопустимые входные 
данные, а интересные входы сосредоточены только в наборе многообразий, содержа-
щем небольшое подмножество точек, причем интересные изменения результирую-
щей обучен ной функции происходят только вдоль направлений, принадлежащих 
какому-то одному многообразию, или при переходе с одного многообразия на другое. 
Обучение многообразий зародилось при рассмотрении непрерывных данных в слу-
чае обучения без учителя, хотя сама идея концентрации вероятности обобщается 
и на дискретные данные, и на обучение с учителем: ключевое допущение заключается 
в том, что масса вероятности сконцентрирована в малой области.
Предположение о том, что данные расположены вдоль многообразия низкой раз-
мерности, не всегда оказывается правильным или полезным. Мы утверждаем, что 
в задачах ИИ, в частности при обработке изображений, звука или текста, предполо-
жение о многообразии, по крайней мере, приближенно правильно. В пользу этой ги-
потезы можно привести наблюдения двух видов.
Первое наблюдение в пользу 
гипотезы о многообразии
заключается в том, что 
встречающееся в жизни распределение вероятности в изображениях, строках текс-
та и звуковых фрагментах имеет высокую концентрацию. Равномерный шум почти 
никогда не походит на структурированные входные данные из этих предметных обла-
стей. На рис. 5.12 показано, что равномерно распределенные точки выглядят как ста-
тический шум на экране аналогового телевизора в отсутствие сигнала. Или, если мы 
будем генерировать документ, случайным образом выбирая буквы, то какова вероят-
ность получить осмысленный текст на английском языке? Почти нулевая, потому что 

---

Проблемы, требующие глубокого обучения 

147
большинство длинных последовательностей букв не соответствует последователь-
ностям, встречающимся в естественном языке: распределение последовательностей 
естественного языка занимает лишь малый объем всего пространства последователь-
ностей букв.
Рис. 5.12 

Результатом случайной выборки пикселей из равномерного 
распределения является белый шум. Хотя существует ненулевая вероят-
ность сгенерировать таким образом изображение лица или иного объекта, 
встречающегося в приложениях ИИ, на практике такое не наблюдается. Это 
означает, что изображения, встречающиеся в приложениях ИИ, занимают 
пренебрежимо малую долю всего пространства изображений
Конечно, концентрированного распределения вероятности еще недостаточно для 
доказательства того, что данные расположены на сравнительно небольшом числе 
многообразий. Нужно еще установить, что предъявленные примеры связаны между 
собой другими примерами, так что каждый пример окружен похожими на него и до 

---