Я. Гудфеллоу, И. Бенджио, А. Курвилль

16.4. Преимущества структурного моделирования
Основное преимущество структурных вероятностных моделей заключается в том, 
что они кардинально снижают стоимость представления распределений вероятности, 
а также обучения и вывода. В случае ориентированных моделей ускоряется еще и вы-
борка, хотя для неориентированных моделей ситуация сложнее. Главная причина, из-
за которой все эти операции требуют меньше времени и памяти, состоит в том, что не-
которые взаимодействия не моделируются. Графические модели сообщают важную 
информацию посредством выбрасывания ребер. Если между какими-то величинами 
ребра нет, значит, их прямое взаимодействие моделировать не нужно.
У структурных вероятностных моделей есть также достоинство, в меньшей сте-
пени поддающееся количественной оценке: они позволяют явно отделить представ-
ление знаний от обучения знаниям или вывода с использованием существующих 
знаний. Поэтому такие модели проще разрабатывать и отлаживать. Мы можем про-
ектировать, анализировать и оценивать алгоритмы обучения и вывода, применимые 
к широким классам графов. Заодно открывается возможность проектировать модели, 
отражающие те связи внутри данных, которые мы считаем важными. Комбинируя 
различные алгоритмы и структуры, мы можем получить декартово произведение раз-

---

Обучение и зависимости 

489
нообразных возможностей. Было бы гораздо труднее отдельно проектировать комп-
лексные алгоритмы для каждой возможной ситуации.
16.5. Обучение и зависимости
Хорошая порождающая модель должна верно отражать распределение наблюдаемых, 
или «видимых», переменных 
v
. Часто различные элементы 
v
сильно зависят друг от 
друга. В контексте глубокого обучения наиболее распространенный подход к моде-
лированию таких зависимостей состоит в том, чтобы завести несколько латентных, 
или «скрытых», переменных 
h
. Тогда модель может представить зависимости между 
любой парой переменных v
i
и v
j
косвенно, посредством прямых зависимостей между 
v
i
и