Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) = (1/
Z
)
p
~(
x
). Идея в том, что минимизация log 
Z
не дает вероятностной модели 
достичь высокой вероятности всюду, а наложение ограничения разреженности на ав-
токодировщик предотвращает низкую ошибку реконструкции всюду. В этом случае 
связь прослеживается на уровне интуитивного понимания общего механизма, а не 
математически строгого соответствия. Интерпретация штрафа разреженности как 
соответствия величине log 
p
model
(
h
) в ориентированной модели 
p
model
(
h
)
p
model
(
x
| 
h
) ма-
тематически более очевидна.
Один из способов достижения настоящих нулей в коде 
h
для разреженных (и шу-
моподавляющих) автокодировщиков предложен в работе Glorot et al. (2011b). Идея 
в том, чтобы использовать блоки линейной ректификации для порождения кодового 
слоя. Взяв априорное распределение, которое толкает представления в сторону нуля 
(например, штраф по норме 
L
1
), можно косвенно управлять средним числом нулей 
в представлении.
14.2.2. Шумоподавляющие автокодировщики
Получить автокодировщик, который обучается чему-то полезному, можно не только 
путем добавления штрафа в функцию стоимости, но и изменив в ней член реконст-
рукции ошибки.
Традиционно автокодировщики минимизируют некоторую функцию
L
(
x
, 
g
(
f
(
x
))), 
(14.8)
где 
L
– функция потерь, штрафующая 
g
(
f
(
x
)) за непохожесть на 
x
, например норма 
L
2
разности. Это побуждает 
g
∘
f
быть просто тождественной функцией, если емкости 
g
и 
f
для этого достаточно.