Я. Гудфеллоу, И. Бенджио, А. Курвилль

539
нулли естественно представить вектором вероятностей 
h
ˆ – таким, что 
q
(
h
i
= 1 | 
v
) = 
h
ˆ
i
. 
Наложим ограничение – 
h
ˆ
i
не может быть равно 0 или 1, – чтобы избежать ошибок 
при вычислении, например log 
h
ˆ
i
.
Как мы увидим, уравнения вариационного вывода никогда не присваивают 
h
ˆ
i
значение 0 или 1 аналитически. Но в программной реализации из-за ошибок округ-
ления такие значения возможны. Программно мы могли бы реализовать двоичное 
разреженное кодирование, используя неограниченный вектор вариационных пара-
метров 
z
, и получить 
h
ˆ из соотношения 
h
ˆ = 
σ
(
z
). Тогда можно безопасно вычислять 
log 
h
ˆ
i
, применяя тождество log 
σ
(
z
i
) = –
ζ
(–
z
i
), связывающее сигмоиду с функцией 
softplus.
Приступая к выводу уравнений вариационного обучения в модели бинарного раз-
реженного кодирования, покажем, что благодаря использованию аппроксимации 
среднего поля обучение становится вычислительно разрешимым.
Нижняя граница свидетельств имеет вид:
ℒ
(
v
; 
θ
; 
q
) 
(19.29)
= 
𝔼
h
~
q
[log 
p
(
h
, 
v
)] + 
H
(
q
) 
(19.30)
= 
𝔼
h
~
q
[log 
p
(