Я. Гудфеллоу, И. Бенджио, А. Курвилль

536 

 
Приближенный вывод
Это так называемый подход 
среднего поля
. В общем случае мы можем наложить 
на 
q
структуру произвольной графической модели, чтобы гибко определить, сколько 
взаимодействий должна улавливать наша аппроксимация. Такой общий подход на-
зывается 
структурным вариационным выводом
(Saul and Jordan, 1996).
Элегантность вариационного подхода состоит в том, что не нужно задавать конк-
ретную параметрическую форму 
q
. Мы описываем, как оно должно факторизовать-
ся, но затем задача оптимизации сама определяет оптимальное распределение веро-
ятности, удовлетворяющее этим ограничениям на факторизацию. Для дискретных 
латентных переменных это просто означает, что мы пользуемся традиционными ме-
тодами оптимизации конечного числа переменных, описывающих распределение 
q
. 
Для непрерывных латентных переменных это означает использование раздела мате-
матики, называемого вариационным исчислением, для оптимизации на пространстве 
функций, в результате чего определяется, какой функцией представлять 
q
. Именно 
вариационное исчисление стоит за терминами «вариационное обучение» и «вариа-
ционный вывод», хотя они применяются и в том случае, когда латентные переменные 
дискретны и вариационное исчисление ни при чем. В случае непрерывных латентных 
переменных вариационное исчисление оказывается мощной техникой, снимающей 
большую часть забот с проектировщика модели, который теперь должен только за-
дать вид факторизации 
q
, а не гадать, как спроектировать конкретное 
q
, способное 
верно аппроксимировать апостериорное распределение.
Поскольку 
ℒ
(
v
, 
θ
, 
q
) определена как log 
p
(