Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
) = 
∏
i
P
(
h
i
), но линейные 
зависимости или зависимости, улавливаемые мелким автокодировщиком, так-
же разумны. Это предположение, имеющее место во многих физических зако-
нах, делается, когда поверх обученного представления реализуется линейный 
предиктор или факторизованное априорное распределение.
Идея обучения представлений связывает воедино многие формы глубокого обуче-
ния. Сети прямого распространения и рекуррентные сети, автокодировщики и глу-
бокие вероятностные модели – все они обучают представления и используют их. 
Обучение наилучшего из возможных представлений остается увлекательным на-
правлением исследований.

---

Глава 
16
Структурные
вероятностные модели 
в глубоком обучении
Глубокое обучение опирается на многочисленные формализмы моделирования, ко-
торыми исследователи могут пользоваться при проектировании и описании алгорит-
мов. Один из таких формализмов – идея 
структурной вероятностной модели
. Мы 
уже кратко обсуждали их в разделе 3.14, и этого обсуждения было достаточно, что-
бы понять, как структурные вероятностные модели используются в качестве языка 
для описания некоторых алгоритмов. Теперь же, в третьей части книги, такие модели 
предстанут в виде ключевого ингредиента многих из наиболее важных направлений 
исследований в глубоком обучении. Эта глава задумана независимой от остальной 
книги: для ее чтения не придется обращаться к ранее изложенному материалу.
Структурная вероятностная модель – это способ описания распределения вероят-
ности с помощью графа, показывающего, какие случайные величины взаимодейству-
ют между собой непосредственно. Здесь слово «граф» употребляется в смысле теории 
графов и обозначает множество вершин, соединенных ребрами. Поскольку структура 
модели определена в виде графа, такие модели часто называют также 
графическими
.
Ученые, работающие в этой области, разработали много разных моделей, алго-
ритмов обучения и алгоритмов вывода. В этой главе мы познакомимся с основными 
идеями, делая упор на концепциях, которые оказались особенно полезны в контекс-
те глубокого обучения. Если вы уже хорошо знакомы с графическими моделями, то 
можете спокойно пропустить большую часть главы. Однако даже специалисту бу-
дет небезынтересно прочитать последний раздел 16.7, в котором описываются не-
которые специфические способы применения графических моделей в алгоритмах 
глубокого обучения. В глубоком обучении структуры моделей алгоритмы обучения 
и про цедуры вывода используются совсем не так, как принято среди исследователей 
графических моделей. В этой главе мы расскажем об этих отличиях и объясним, в чем 
причина.
Сначала поговорим о проблемах, возникающих при построении крупномасштаб-
ных вероятностных моделей, а затем покажем, как использовать граф для описа-
ния структуры распределения вероятности. Хотя этот подход позволяет преодолеть 
многие трудности, у него есть собственные проблемы. Одна из главных трудностей 
графического моделирования – понять, какие величины должны взаимодействовать 

---