Я. Гудфеллоу, И. Бенджио, А. Курвилль

509
Это хорошо известное разложение на 
положительную
и 
отрицательную фазы
обуче ния.
Для большинства интересных неориентированных моделей отрицательная фаза 
представляет сложности. Если в модели нет латентных переменных или между ними 
немного взаимодействий, то положительная фаза обычно разрешима. Типичный при-
мер модели с простой положительной и трудной отрицательной фазой – ОМБ, в ко-
торой имеются скрытые блоки, условно независимые друг от друга при условии види-
мых блоков. Случай трудной положительной фазы со сложными взаимодействиями 
между латентными переменными рассмотрен в главе 19. Здесь же мы займемся труд-
ностями отрицательной фазы.
Присмотримся к градиенту log 
Z
поближе:
∇
θ
log 
Z
, 
(18.5)
(18.6)
(18.7)
(18.8)
Если модель гарантирует, что 
p
(
x
) > 0 для всех 
x
, то мы можем подставить 
exp(log 
p
~(
x
)) вместо 
p
~(
x
):
(18.9)
(18.10)
(18.11)
(18.12)
(18.13)
В этом выводе используется суммирование по дискретной величине 
x
, но анало-
гичный результат имеет место для интегрирования по непрерывной 
x
. В этом случае 
мы применяем правило Лейбница дифференцирования под знаком интеграла:
(18.14)
Это тождество применимо только при некоторых условиях регулярности на 
p
~ 
и 
∇
θ 
p
~(
x
). В терминах теории меры эти условия формулируются так: (1) ненорми-
рованное распределение 
p
~ должно быть интегрируемой по Лебегу функцией 
x
для 
любого значения