Я. Гудфеллоу, И. Бенджио, А. Курвилль

Шумоподавляющий автокодировщик
(denoising autoencoder – DAE) вместо этого 
минимизирует функцию 
L
(
x
, 
g
(
f
(
x~
))), 
(14.9)
где 
x~
– копия 
x
, искаженная каким-то шумом. Поэтому шумоподавляющий автоко-
дировщик должен скорректировать искажение, а не просто скопировать свой вход.
Как показано в работах Alain and Bengio (2013) и Bengio et al. (2013c), обучение 
с целью шумоподавления принуждает 
f
и 
g
неявно обучиться структуре 
p
data
(
x
). 
Следовательно, шумоподавляющие автокодировщики – еще один пример того, как 
полезные свойства могут оказаться побочным результатом минимизации ошибки 

---

Репрезентативная способность, размер слоя и глубина

427
реконструкции. Вместе с тем это пример того, как повышающую модель с высокой 
емкостью можно использовать в качестве автокодировщика, если позаботиться о том, 
чтобы она не обучилась тождественной функции. Шумоподавляющие автокодиров-
щики более детально описаны в разделе 14.5.
14.2.3. Регуляризация посредством штрафования производных
Еще одна стратегия регуляризации автокодировщика подразумевает использование 
штрафа, как в разреженных автокодировщиках:
L
(
x
, 
g
(
f
(
x
))) + 
Ω
(
h
, 
x
), 
(14.10)
но с 
Ω
другого вида:
(14.11)
Это понуждает модель обучить функцию, которая не сильно изменяется при малом 
изменении 
x
. Поскольку этот штраф применяется только к обучающим примерам, он 
заставляет автокодировщик обучиться признакам, улавливающим информацию об 
обучающем распределении.
Регуляризированный таким способом автокодировщик называется 
сжимающим
(contractive autoencoder – CAE). Существуют теоретические связи между этим под-
ходом и шумоподавляющими автокодировщиками, обучением многообразий и ве-
роятностным моделированием. Сжимающие автокодировщики подробнее описаны 
в разделе 14.7.