Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
и прямых зависимостей между 
h
и v
j
.
В хорошей модели 
v
, не содержащей никаких латентных переменных, должно было 
бы присутствовать очень много родителей каждого узла в байесовской сети или очень 
большие клики в марковской сети. Даже просто представить такие взаимодействия 
высшего порядка обходится дорого – как в вычислительном смысле, поскольку число 
параметров, хранящихся в памяти, экспоненциально возрастает с ростом числа чле-
нов клики, так и в статистическом, т. к. при таком гигантском числе параметров для 
вычисления точной оценки нужно очень много данных.
Если модель предназначена для улавливания зависимостей между видимыми 
переменными, соединенными напрямую, то соединять между собой все перемен-
ные практически бессмысленно, поэтому граф следует проектировать так, чтобы 
были соединены лишь тесно связанные переменные, и опускать все остальные ребра. 
Этой проблеме посвящен целый раздел машинного обучения – 
структурное обуче-
ние
. Хорошим справочным пособием по этой теме может служить книга (Koller and 
Friedman, 2009). По большей части методы структурного обучения сводятся к тому 
или иному виду жадного поиска. Предлагается некоторая структура, и обучается мо-
дель с такой структурой, затем ей присваивается оценка. Эта оценка поощряет за вер-
ность аппроксимации обучающего набора и штрафует за сложность модели. На сле-
дующем шаге поиска предлагаются модели-кандидаты с малым числом добавленных 
или удаленных ребер. Производится поиск новой структуры, от которой ожидается 
улучшение оценки.
Применение латентных переменных вместо адаптивной структуры позволяет от-
казаться от дискретных операций поиска и нескольких раундов обучения. Фиксиро-
ванная структура над видимыми и латентными переменными может использовать 
прямые взаимодействия между видимыми и скрытыми блоками для определения 
косвенных взаимодействий между видимыми блоками. Применяя простые методы 
обучения параметров, мы можем обучить модель с фиксированной структурой, кото-
рая накладывает правильную структуру на маргинальное распределение 
p
(