Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) – 
x
в пространстве входов и всегда указывают в сторону 
ближайшего «многообразия» (единственной точки в одномерном случае). 
Шумоподавляющий автокодировщик пытается сделать производную функ-
ции реконструкции 
r
(
x
)
малой в окрестности входных точек. Сжимающий 
автокодировщик делает то же самое для кодировщика. Хотя производную 
r
(
x
)
понуждают быть малой вблизи входных точек, между ними она может 
быть большой. Пространство между входными точками соответствует об-
ласти между многообразиями, где функция реконструкции должна иметь 
большую производную, чтобы вернуть искаженные точки на многообразие

---

436 

 
Автокодировщики
Чтобы понять, почему автокодировщики полезны для обучения многообразий, 
поучительно сравнить их с другими подходами. Для характеристики многообразия 
обычно обучают 
представление
точек данных на многообразии (или вблизи него). 
Для конкретного примера такое представление называют также его погружением. 
Как правило, оно описывается вектором более низкой размерности, чем у объемлю-
щего пространства, подмножеством которого является многообразие. Некоторые 
алгоритмы (обсуждаемые ниже непараметрические алгоритмы обучения многообра-
зий) непосредственно обучают погружение для каждого обучающего примера, тогда 
как другие обучают более общее отображение, иногда называемое кодировщиком, 
или функцией представления, которое переводит любую точку объемлющего прост-
ранства (пространства входов) в ее погружение.
Обучение многообразий по большей части включает в себя процедуры обучения 
без учителя, пытающиеся эти многообразия уловить. В большинстве ранних работ по 
обучению нелинейных многообразий акцент ставился на