Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
*
чередуется с обновлением 
θ
с целью увеличения 
log 
p
(
h
*
, 
v
). Как и EM-алгоритм, это вариант покоординатного спуска по 
ℒ
, когда ис-
пользование вывода для оптимизации 
ℒ
относительно 
q
чередуется с обновлением 
параметров для оптимизации 
ℒ
относительно 
θ
. В обоснование процедуры в целом 
можно сослаться на тот факт, что 
ℒ
является нижней границей log 
p
(
v
). В случае 
MAP-вывода это обоснование бессодержательно, т. к. граница бесконечно неточная 
из-за того, что дифференциальная энтропия распределения Дирака равна минус бес-
конечности. Но прибавление шума к 
μ
снова делает границу осмысленной.
MAP-вывод обычно используется в глубоком обучении для выделения признаков 
и в качестве механизма обучения. Основное применение он находит в моделях разре-
женного кодирования. Напомним (раздел 13.4), что разреженное кодирование – это 
линейная факторная модель с априорным распределением скрытых блоков, индуци-
рующим разреженность. Чаще всего выбирается факторное априорное распределе-
ние Лапласа, для которого
p
(
h
i
) = (
λ
/2)
e
–
λ
|
h
i
|
. 
(19.14)
Затем видимые блоки порождаются путем выполнения линейного преобразования 
и прибавления шума:

---

Вариационный вывод и обучение 

535
p
(
x
| 
h
) = 
𝒩
(