Я. Гудфеллоу, И. Бенджио, А. Курвилль

v
; 
Wh
+ 
b
, 
β
–1
I
). 
(19.15)
Вычислить или хотя бы представить 
p
(
h
| 
v
) трудно. Любые две переменные 
h
i
и 
h
j
являются родителями 
v
. Это означает, что если 
v
наблюдаемая, то графическая мо-
дель содержит активный путь, соединяющий 
h
i
и 
h
j
. Следовательно, все скрытые бло-
ки принадлежат одной большой клике в
p
(
h
| 
v
). Если бы модель была гауссовой, то 
эти взаимодействия можно было бы эффективно смоделировать с помощью ковариа-
ционной матрицы, но из-за разреженности априорного распределения взаимодей-
ствия гауссовыми не являются.
Поскольку 
p
(
h
| 
v
) вычислительно неразрешима, то таковы же логарифмическое 
правдоподобие и его градиент. Поэтому мы не можем воспользоваться точным обуче-
нием с критерием максимального правдоподобия. Вместо этого мы применим MAP-
вывод и будем обучать параметры путем максимизации ELBO, определяемой рас-
пределением Дирака вокруг MAP-оценки 
h
.
Если собрать все векторы 
h
из обучающего набора в матрицу 
H
, а все векторы 
v
– 
в матрицу 
V
, то процесс обучения модели разреженного кодирования сведется к ми-
нимизации функции
(19.16)
В большинстве применений разреженного кодирования участвует также снижение 
весов или ограничение на нормы столбцов 
W
, чтобы предотвратить патологическое 
решение с очень малой