Я. Гудфеллоу, И. Бенджио, А. Курвилль

5.11.3. Обучение многообразий
В основе многих идей машинного обучения лежит концепция многообразия.
Многообразие
– это связная область. С точки зрения математики, это множество 
точек, ассоциированных с окрестностью каждой точки. Из любой точки многообра-
зие локально выглядит как евклидово пространство. В повседневной жизни мы вос-
принимаем поверхность земли как двумерную плоскость, но на самом деле это сфе-
рическое многообразие в трехмерном пространстве.
Из идеи окрестности каждой точки вытекает существование преобразований для 
перемещения из одного места многообразия в другое. В примере земной поверхности 
как многообразия мы можем пойти на север, юг, восток и запад.
Хотя у термина «многообразие» есть строгое математическое определение, в ма-
шинном обучении его используют менее формально для обозначения связного мно-
жества точек в пространстве высокой размерности, которое можно хорошо аппрок-
симировать, вводя в рассмотрение лишь небольшое число степеней свободы, или 
измерений. Каждое измерение соответствует локальному направлению изменения. 
На рис. 5.11 показан пример обучающих данных, лежащих в окрестности одномер-
ного многообразия, погруженного в двумерное пространство. В машинном обучении 
допускаются многообразия, размерность которых различна в разных точках. Так ча-

---

146 

 
Основы машинного обучения 
сто бывает, когда у многообразия есть точки самопересечения. Например, цифра во-
семь – это одномерное многообразие всюду, кроме точки самопересечения в центре.
2,5
2,0
1,5
1,0
0,5
0,0
–0,5
–1,0
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
Рис. 5.11 

Выборка данных в двумерном пространстве концентрирует-
ся в окрестности одномерного многообразия и напоминает спутанную ве-
ревку. Сплошной линией показано многообразие, которое требуется найти 
в процессе обучения
Многие задачи машинного обучения кажутся безнадежными, если мы ожидаем, 
что в результате обучения алгоритм должен найти функции с нетривиальными из-
менениями во всем пространстве 
ℝ
n
. Алгоритмы