Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
. Это порождает разрыв между 
ℒ
и истинным log 
p
(
v
), по мере того как 
M-шаг все дальше уходит от значения 
θ
(0)
на E-шаге. По счастью, E-шаг снова сокра-
тит этот разрыв до нуля при следующем входе в цикл.
EM-алгоритм содержит несколько разных идей. Прежде всего присутствует базо-
вая структура процесса обучения, согласно которой мы обновляем параметры модели 
с целью повысить правдоподобие пополненного набора данных, в котором все отсут-
ствующие переменные получили значения, предлагаемые оценкой апостериорного 
распределения. Эта идея встречается не только в EM-алгоритме. Например, примене-
ние градиентного спуска для максимизации логарифмического правдоподобия обла-
дает тем же свойством; для вычисления градиента логарифмического правдоподобия 
нужно находить математические ожидания относительно апостериорного распреде-
ления скрытых блоков. Еще одна важная идея EM-алгоритма – то, что мы можем 
продолжать использовать одно значение 
q
даже после того, как перешли к другому 
значению 
θ
. Эта идея повсеместно используется в классическом машинном обуче-
нии для обновлений с большим M-шагом. В контексте глубокого обучения модели, 
как правило, слишком сложны, чтобы можно было найти оптимальное обновление 
с большим M-шагом, так что эта вторая идея, в большей степени относящаяся именно 
к EM-алгоритму, используется редко.
19.3. MAP-вывод и разреженное кодирование
Обычно термин 
вывод
относится к вычислению распределения вероятности одного 
множества переменных при условии другого множества. При обучении вероятност-
ных моделей с латентными переменными нас обычно интересует вычисление 
p
(
h
| 
v
). 
Альтернативная форма вывода заключается в вычислении одного самого вероятного 
значения отсутствующих переменных, а не вывода всего распределения их возмож-
ных значений. В контексте моделей с латентными переменными это означает, что 
нужно вычислить

---