Я. Гудфеллоу, И. Бенджио, А. Курвилль

Преодоление
трудностей, связанных
со статической суммой
В разделе 16.2.2 мы видели, что многие вероятностные модели (точнее, неориентиро-
ванные графические модели) определены в терминах ненормированного распределе-
ния вероятности 
p
~(
x
; 
θ
). Для получения корректного распределения вероятности мы 
должны нормировать 
p
~, поделив на статистическую сумму 
Z
(
θ
):
(18.1)
Статистическая сумма – это интеграл (для непрерывных величин) или сумма (для 
дискретных величин) ненормированных вероятностей всех состояний:
(18.2)
или
(18.3)
Для многих интересных моделей эта операция вычислительно неразрешима.
В главе 20 мы увидим, что несколько моделей глубокого обучения специально 
спроектировано так, чтобы нормировочную постоянную можно было вычислить, или 
так, чтобы 
p
(
x
) можно было не вычислять вовсе. Тем не менее в других моделях при-
ходится сталкиваться с проблемой неразрешимых статистических сумм. В этой главе 
мы опишем методы, применяемые для обучения и использования моделей с нераз-
решимыми статистическими суммами.
18.1. Градиент логарифмического правдоподобия
Обучение неориентированных моделей методом максимального правдоподобия осо-
бенно осложняется тем, что статистическая сумма зависит от параметров. Градиент 
логарифмического правдоподобия по параметрам содержит член, соответствующий 
градиенту статистической суммы:
∇
θ
log 
p
(
x
; 
θ
) = 
∇
θ
log 
p
~(
x
; 
θ
) – 
∇
θ
log 
Z
(
θ
). 
(18.4)

---

Градиент логарифмического правдоподобия 
