неориентированных
моделях используются графы с неориентированными реб-
рами, они представляют разложение в произведение множества функций. В отличие
от ориентированного случая, функции необязательно должны быть распределения-
ми вероятности. Любое множество попарно соединенных вершин графа
𝒢
называется
кликой. Всякая клика
𝒞
(
i
)
в неориентированной модели ассоциированна с фактором
ϕ
(
i
)
(
𝒞
(
i
). Эти факторы – просто функции, а не распределения вероятности. Результат
каждого фактора должен быть неотрицателен, но не требуется, чтобы сумма значений
фактора или интеграл от него был равен 1, как в случае распределения вероятности.
Вероятность конфигурации случайных величин пропорциональна произведению
всех факторов – комбинации, которые приводят к большим значениям факторов,
более вероятны. Разумеется, нет никакой гарантии, что сумма произведений будет
равна 1. Поэтому мы делим ее на нормировочную константу
Z
, определенную как
сумма или интеграл по всем состояниям произведений функций
ϕ
, чтобы получить
нормированное распределение вероятности:
Структурные вероятностные модели
81
(3.55)
На рис. 3.8 приведены пример неориентированного графа и представляемая им
факторизация распределения вероятности.
a
c
e
b
d
Рис. 3.8
Неориентированная, графическая модель случайных величин
a
,
b
,
c
,
d
,
e
. Этот граф соответствует такой факторизации распределения
вероятности
(3.56)
Эта графическая модель позволяет быстро выявить некоторые свойства
распределения. Например,
a
и
c
взаимодействуют непосредственно, тогда
как
a
и
e
– только косвенно, через
c
.
Имейте в виду, что эти графические представления факторизаций – лишь язык
описания распределений вероятности. Они не являются взаимно исключающими
семействами распределений. Ориентированность или неориентированность – свой-
ство не самого распределения вероятности, а конкретного
описания
распределения,
и любое распределение можно описать обоими способами.
В частях I и II книги мы используем структурные вероятностные модели просто
как язык, позволяющий описать, какие прямые вероятностные связи представлены
различными алгоритмами машинного обучения. Более глубокое понимание струк-
турных вероятностных моделей не понадобится вплоть до обсуждения тем для ис-
следования в части III, где эти модели будут рассмотрены более детально.
В этой главе мы привели краткий обзор концепций теории вероятностей, имеющих
прямое отношение к глубокому обучению. Осталось рассмотреть еще одну часть фун-
даментального математического аппарата: численные методы.
Do'stlaringiz bilan baham: |