Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
| 
x
), что эквивалентно максимизации log 
p
(
x
| 
θ
) + log 
p
(
θ
). Член log 
p
(
x
| 
θ
) – 
обычное логарифмическое правдоподобие данных, а член log 
p
(
θ
), логарифмическое 
априорное распределение параметров, знаменует предпочтение определенным значе-
ниям 
θ
. Этот взгляд на вещи описан в разделе 5.6. Для регуляризированных автоко-
дировщиков такая интерпретация не годится, потому что регуляризатор зависит от 
данных и поэтому по определению не может считаться априорным распределением 
в формальном смысле слова. Однако мы по-прежнему можем считать, что регуляри-
зирующие члены неявно выражают предпочтение некоторым функциям.
Вместо того чтобы считать штраф разреженности регуляризатором для копиро-
вания данных, мы можем рассматривать всю инфраструктуру разреженного авто-
кодирования как обучение порождающей модели с латентными переменными, ап-
проксимирующее максимальное правдоподобие. Предположим, что имеется модель 
с видимыми переменными 
x
, латентными переменными 
h
и явным совместным рас-
пределением 
p
model
(
x
, 
h
) = 
p
model
(
h
)
p
model
(
x
| 
h
). Мы называем 
p
model
(
h
) априорным рас-
пределением латентных переменных и считаем, что оно представляет априорную 
веру модели в то, что она увидит 
x
. Эта трактовка отличается от предыдущего упо-
требления слова «априорный», которое обозначало распределение 
p
(
θ
), описываю-
щее наши гипотезы о параметрах модели еще до знакомства с обучающими данными. 
Логарифмическое правдоподобие можно представить в виде
(14.3)
Мы можем рассматривать автокодировщик как аппроксимацию этой суммы то-
чечной оценкой для всего одного значения