Я. Гудфеллоу, И. Бенджио, А. Курвилль

неориентированных
моделях используются графы с неориентированными реб-
рами, они представляют разложение в произведение множества функций. В отличие 
от ориентированного случая, функции необязательно должны быть распределения-
ми вероятности. Любое множество попарно соединенных вершин графа 
𝒢
называется 
кликой. Всякая клика 
𝒞
(
i
)
в неориентированной модели ассоциированна с фактором 
ϕ
(
i
)
(
𝒞
(
i
). Эти факторы – просто функции, а не распределения вероятности. Результат 
каждого фактора должен быть неотрицателен, но не требуется, чтобы сумма значений 
фактора или интеграл от него был равен 1, как в случае распределения вероятности.
Вероятность конфигурации случайных величин пропорциональна произведению 
всех факторов – комбинации, которые приводят к большим значениям факторов, 
более вероятны. Разумеется, нет никакой гарантии, что сумма произведений будет 
равна 1. Поэтому мы делим ее на нормировочную константу 
Z
, определенную как 
сумма или интеграл по всем состояниям произведений функций 
ϕ
, чтобы получить 
нормированное распределение вероятности:

---

Структурные вероятностные модели 

81
(3.55)
На рис. 3.8 приведены пример неориентированного графа и представляемая им 
факторизация распределения вероятности.
a
c
e
b
d
Рис. 3.8 

Неориентированная, графическая модель случайных величин 
a
,
b
,
c
,
d
,
e
. Этот граф соответствует такой факторизации распределения 
вероятности
(3.56)
Эта графическая модель позволяет быстро выявить некоторые свойства 
распределения. Например, 
a
и 
c
взаимодействуют непосредственно, тогда 
как 
a
и 
e
– только косвенно, через 
c
.
Имейте в виду, что эти графические представления факторизаций – лишь язык 
описания распределений вероятности. Они не являются взаимно исключающими 
семействами распределений. Ориентированность или неориентированность – свой-
ство не самого распределения вероятности, а конкретного 
описания
распределения, 
и любое распределение можно описать обоими способами.
В частях I и II книги мы используем структурные вероятностные модели просто 
как язык, позволяющий описать, какие прямые вероятностные связи представлены 
различными алгоритмами машинного обучения. Более глубокое понимание струк-
турных вероятностных моделей не понадобится вплоть до обсуждения тем для ис-
следования в части III, где эти модели будут рассмотрены более детально.
В этой главе мы привели краткий обзор концепций теории вероятностей, имеющих 
прямое отношение к глубокому обучению. Осталось рассмотреть еще одну часть фун-
даментального математического аппарата: численные методы.

---