Я. Гудфеллоу, И. Бенджио, А. Курвилль

касательных плоскостей
. Касатель-
ная плоскость в точке 
x
на 
d
-мерном многообразии определяется 
d
базисными векто-
рами в локальных направлениях допустимых изменений. Как показано на рис. 14.6, 
эти локальные направления описывают, какие возможны бесконечно малые измене-
ния 
x
, не выводящие за пределы многообразия.

---

434 

 
Автокодировщики
Рис. 14.6 

Иллюстрация понятия касательной гиперплоскости. Здесь 
создается одномерное многообразие в 784-мерном пространстве. Мы 
берем изображение из набора данных MNISТ, содержащее 784 пикселя, 
и преобразуем его, выполняя параллельный перенос по вертикали. Вели-
чина переноса определяет координату вдоль одномерного многообразия, 
которая описывает искривленный путь в пространстве изображения. На 
графике показано несколько точек на этом многообразии. Для наглядно-
сти мы спроецировали многообразие на двумерное пространство методом 
PCA. У 
n
-мерного многообразия в каждой точке имеется 
n
-мерная каса-
тельная плоскость. Эта плоскость имеет с многообразием ровно одну об-
щую точку и ориентирована параллельно его поверхности в этой точке. Она 
определяет направления, в которых можно двигаться, оставаясь на много-
образии. У данного одномерного многообразия касательная плоскость вы-
рождается в прямую. Мы привели пример касательной прямой в одной точ-
ке вместе с изображением, показывающим, как ее направление выглядит 
в пространстве изображения. Серым цветом обозначены пиксели, которые 
не изменяются при движении вдоль касательной, белым – пиксели, кото-
рые становятся ярче, а черным – те, что становятся темнее
Любая процедура обучения автокодировщика включает компромисс между двумя 
стремлениями.
1. Обучить такое представление