Я. Гудфеллоу, И. Бенджио, А. Курвилль

H
и большой 
W
.
Для минимизации 
J
мы можем чередовать минимизацию относительно 
H
с мини-
мизацией относительно 
W
. Обе подзадачи выпуклые. На самом деле минимизация 
относительно 
W
– просто задача линейной регрессии. Но минимизация 
J
относи-
тельно обоих аргументов обычно не является выпуклой задачей.
Для минимизации относительно 
H
требуются специальные алгоритмы, например 
алгоритм поиска знака признака (Lee et al., 2007).
19.4. Вариационный вывод и обучение
Мы видели, что нижняя граница свидетельств 
ℒ
(
v
, 
θ
, 
q
) является нижней границей 
log 
p
(
v
; 
θ
), что вывод можно рассматривать как максимизацию 
ℒ
относительно 
q
, 
а обуче ние – как максимизацию 
ℒ
относительно 
θ
. Мы видели, что EM-алгоритм по-
зволяет делать большие шаги обучения с фиксированным 
q
и что алгоритмы обуче-
ния, основанные на MAP-выводе, дают возможность обучать модель с применением 
точечной оценки 
p
(
h
| 
v
), не выводя всего распределения целиком. Теперь разработа-
ем более общий подход к вариационному обучению.
Основная идея вариационного обучения заключается в том, чтобы максимизиро-
вать 
ℒ
на ограниченном семействе распределений 
q
. Это семейство следует выбирать 
так, чтобы было легко вычислить 
𝔼
q
log 
p
(
h
| 
v
). Обычно для этого вводятся предпо-
ложения о способе представления 
q
в виде произведения.
Типичный подход к вариационному обучению – потребовать, чтобы 
q
было фак-
торным распределением:
(19.17)

---