Я. Гудфеллоу, И. Бенджио, А. Курвилль

v
; 
θ
) после обучения модели и обнаруживаем, что раз-
рыв с 
ℒ
(
v
, 
θ
, 
q
) мал. Отсюда мы делаем вывод, что наша вариационная аппроксимация 
в целом верна или что она причинила небольшой вред процессу обучения. Чтобы 
измерить истинный вред, привнесенный вариационной аппроксимацией, нам нужно 
знать 
θ
*
= max
θ
log 
p
(
v
; 
θ
). Может быть так, что соотношения 
ℒ
(
v
, 
θ
, 
q
) 
≈
log 
p
(
v
; 
θ
) 
и log 
p
(
v
; 
θ
) 
≪
log 
p
(
v
; 
θ
*
) удовлетворяются одновременно. Если max
q
ℒ
(
v
, 
θ
*
, 
q
) 
≪ 
log 
p
(
v
; 
θ
*
) из-за того, что 
θ
*
индуцирует слишком сложное апостериорное распреде-
ление, которое наше семейство 
q
неспособно уловить, то процесс обучения никогда 
не приблизится к 
θ
*
. Такую проблему очень трудно обнаружить, поскольку узнать 
наверняка, что это случилось, можно, лишь имея для сравнения другой, более каче-
ственный алгоритм обучения, способный найти 
θ
*
.
19.5. Обученный приближенный вывод
Мы видели, что вывод можно рассматривать как процедуру оптимизации, которая 
увеличивает значение функции 
ℒ
. Явное выполнение оптимизации с помощью таких 
итеративных процедур, как уравнения неподвижной точки или градиентная оптими-
зация, часто оказывается делом дорогим и долгим. Поэтому расходов стремятся из-
бежать, обучая модель выполнять приближенный вывод. Точнее говоря, мы можем 
считать, что процесс оптимизации – это функция 
f
, отображающая вход