Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
(0)
) для всех индексов 
i
примеров 
v
(
i
)
, на которых мы производим обучение (допустимы оба варианта: 
пакетный и мини-пакетный). Таким образом, 
q
определено в терминах 
теку-

---

MAP-вывод и разреженное кодирование 

533
щего
значения параметра 
θ
(0)
; если мы изменим 
θ
, то 
p
(
h
| 
v
; 
θ
) изменится, но 
q
(
h
| 
v
) останется равным = 
p
(
h
| 
v
; 
θ
(0)
). 
 

M-шаг
(максимизация). Полностью или частично максимизировать выра-
жение
(19.8)
относительно 
θ
, воспользовавшись любым удобным алгоритмом.
Это можно рассматривать как алгоритм покоординатного восхождения для мак-
симизации 
ℒ
. На одном шаге мы максимизируем 
ℒ
относительно 
q
, а на другом – 
ℒ
относительно 
θ
.
Стохастическое градиентное восхождение в моделях с латентными переменными 
можно рассматривать как частный случай EM-алгоритма, в котором M-шаг состоит 
из одного шага вычисления градиента. В других вариантах EM-алгоритма таких ша-
гов может быть гораздо больше. Для некоторых семейств моделей M-шаг можно даже 
выполнять аналитически, находя оптимальное 
θ
при текущем 
q
.
Несмотря на то что E-шаг включает точный вывод, мы можем считать, что в EM-
алгоритме в некотором смысле используется приближенный вывод. Точнее говоря, 
на M-шаге предполагается, что одно и то же значение 
q
можно использовать для всех 
значений