Я. Гудфеллоу, И. Бенджио, А. Курвилль

14.5.1.1. Историческая справка
Идея использовать МСП для шумоподавления восходит к работам LeCun (1987) 
и Gallinari et al. (1987). В работе Behnke (2001) рекуррентные сети использовались 
для очистки изображений от шумов. В некотором смысле шумоподавляющие автоко-
дировщики – это просто МСП, обученные шумоподавлению.
Однако название «шумоподавляющий автокодировщик» относится к модели, 
которая должна не просто обучиться очищать вход от шумов, но и найти хорошее 
внутреннее представление в качестве побочного эффекта. Эта идея возникла много 
позже (Vincent et al., 2008, 2010). Затем обученное представление можно исполь-
зовать для предобучения более глубокой сети без учителя или с учителем. Как 
и в случае разреженного кодирования, разреженных, сжимающих и прочих регуля-
ризированных автокодировщиков, мотивом для разработки шумоподавляющих ав-
токодировщиков было стремление обучить кодировщики очень высокой емкости, 
не дав в то же время кодировщику и декодеру обучиться бесполезной тождествен-
ной функции.
Еще до появления современных DAE в работе Inayoshi and Kurita (2005) иссле-
довалось достижение части тех же целей некоторыми из описанных выше методов. 
Подход авторов был основан на минимизации ошибки реконструкции в дополнение 
к целевой функции при внесении шума в скрытый слой обучаемого с учителем МСП, 
а целью было улучшить обобщаемость за счет введения ошибки реконструкции 
и привнесенного шума. Но они применяли линейный кодировщик и не могли обучать 
столь же мощные семейства функций, как современные DAE.
14.6. Обучение многообразий с помощью 
автокодировщиков
Как и во многих других алгоритмах машинного обучения, в автокодировщиках ис-
пользуется гипотеза о концентрации данных в окрестности многообразия низкой раз-
мерности или небольшого множества таких многообразий (см. раздел 5.11.3). В неко-
торых алгоритмах эта идея ограничена лишь обучением функций, которые корректно 
ведут себя на многообразии, но поведение может оказаться необычным, если предъ-
явить пример, лежащий вне многообразия. Автокодировщики идут дальше и стре-
мятся обучиться структуре многообразия.
Чтобы понять, как они это делают, необходимо познакомиться с некоторыми ха-
рактеристиками многообразий.
Важной характеристикой является множество