Я. Гудфеллоу, И. Бенджио, А. Курвилль

148 

 
Основы машинного обучения 
них можно добраться, применяя преобразования для перемещения по многообразию. 
Второй аргумент в пользу гипотезы о многообразии состоит в том, что, хотя бы не-
формально, можно представить себе такие окрестности и такие преобразования. Если 
речь идет об изображениях, то, безусловно, можно придумать много преобразований, 
позволяющих перемещаться по многообразию в пространстве изображения: плавное 
ослабление или усиления освещения, плавный сдвиг или поворот объектов, плавное 
изменение цвета на поверхностях объектов и т. д. В большинстве приложений, скорее 
всего, будет присутствовать несколько многообразий. Например, многообразие чело-
веческих лиц вряд ли связано с многообразием кошачьих мордочек.
Эти мысленные эксперименты дают интуитивное обоснование гипотезы о много-
образиях. Более строгие эксперименты (Cayton, 2005; Narayanan and Mitter, 2010; 
Sch
ö
lkopf et al., 1998; Roweis and Saul, 2000; Tenenbaum et al., 2000; Brand, 2003; Belkin 
and Niyogi, 2003; Donoho and Grimes, 2003; Weinberger and Saul, 2004) со всей очевид-
ностью поддерживают эту гипотезу для большого класса наборов данных, представ-
ляющих интерес для ИИ.
Если данные расположены на многообразии малой размерности, то в алгоритме 
машинного обучения их наиболее естественно представлять координатами на этом 
многообразии, а не в 
ℝ
n
. В быту мы рассматриваем дороги как одномерные много-
образия, погруженные в трехмерное пространство. Желая сообщить адрес дома, мы 
указываем его номер относительно дороги, а не координаты в пространстве. Переход 
в систему координат многообразия – трудная задача, но ее решение обещает заметное 
улучшение многих алгоритмов машинного обучения. Этот общий принцип приме-
ним в самых разных контекстах. На рис. 5.13 показана структура многообразия для 
набора данных о лицах. К концу книги мы разработаем методы, необходимые для 
обучения структуре такого многообразия. На рис. 20.6 будет показано, как алгоритм 
машинного обучения с успехом решает эту задачу.
Рис. 5.13 

Обучающие примеры из набора данных QMUL Multiview Face 
Dataset (Gong et al., 2000), при составлении которого людей просили по-
зировать так, чтобы покрыть двумерное многообразие, соответствующее 
двум углам поворота. Мы хотели бы, чтобы алгоритмы обучения смогли вы-
явить координаты на таком многообразии. На рис. 20.6 показан результат 
решения этой задачи
На этом мы завершаем часть I, где были изложены основы математики и машинно-
го обучения, применяемые в остальных частях книги. Теперь вы готовы приступить 
к изучению глубокого обучения.

---