Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
ˆ, пока не будет удов-
летворен критерий сходимости.
Для конкретности покажем, как вариационный вывод применяется к 
модели
би-
нарного разреженного кодирования
(мы используем модель из работы Henniges et 
al. [2010], но демонстрируем традиционный общий подход на основе среднего поля, 
тогда как авторы разработали специализированный алгоритм). В выводе довольно 
много математических деталей, он предназначен для читателей, которые хотят разре-
шить все неоднозначности приведенного выше высокоуровневого описания вариаци-
онного вывода и обучения. Читатели, не планирующие разрабатывать или реализо-
вывать алгоритмы вариационного обучения, могут без ущерба для понимания сразу 
перейти к следующему разделу. Тем же, кто решил разобраться в примере бинарного 
разреженного кодирования, мы рекомендуем освежить в памяти полезные свойства 
функций, часто встречающихся в вероятностных моделях (см. раздел 3.10). Мы бу-
дем пользоваться ими без дальнейших оговорок.
В модели бинарного разреженного кодирования вход 
v
∈ ℝ
n
генерируется по моде-
ли посредством прибавления гауссова шума к сумме 
m
различных компонент, каждая 
из которых может присутствовать или отсутствовать. Каждая компонента включает-
ся или выключается соответствующим скрытым блоком в 
h
∈
{0, 1}
m
:
p
(
h
i
= 1) = 
σ
(
b
i
), 
(19.19)
p
(
v
| 
h
) = 
𝒩
(
v
; 
Wh
, 
β
–1
), 
(19.20)
где 
b
– обучаемый вектор смещений, 
W
– обучаемая матрица весов, а 
β
– обучаемая 
диагональная матрица точности.
Для обучения этой модели с критерием максимального правдоподобия необходи-
мо брать производные по параметрам. Рассмотрим производную по одному из сме-
щений:
(19.21)
(19.22)

---