Я. Гудфеллоу, И. Бенджио, А. Курвилль

476 

 
Структурные вероятностные модели в глубоком обучении 
Обозначим случайную величину, представляющую состояние вашего здоровья, h
y
, 
состояние здоровья вашего соседа h
r
, а состояние здоровья коллеги – h
c
. Граф, описы-
вающий эту ситуацию, показан на рис. 16.3.
Рис. 16.3 

Ориентированный граф, представляющий взаимное влияние 
состояния здоровья вашего коллеги 
h
r
, ваше 
h
y
и вашего соседа 
h
c
. Вы и ваш 
сосед могли заразить друг друга, и то же самое относится к коллеге. Но 
в предположении, что коллега и сосед незнакомы, они могли заразить друг 
друга только через вас
Формально говоря, неориентированная графическая модель – это структурная ве-
роятностная модель, определенная над неориентированным графом 
𝒢
. Для каждой 
клики 
𝒞
графа
1
фактор
ϕ
(
𝒞
) (или 
потенциал клики
) измеряет склонность случайных 
величин, входящих в эту клику, к пребыванию в каждом из возможных совместных 
состояний. Факторы по определению неотрицательны. Вместе они образуют 
ненор-
мированное распределение вероятности
p
~(
x
) = 
∏
𝓒∈𝓖 
ϕ
(
𝒞
). 
(16.3)
Работа с этим ненормированным распределением будет эффективна при условии, 
что клики малы. Его идея в том, что состояния с высокой взаимной склонностью бо-
лее вероятны. Однако, в отличие от байесовской сети, в определении клик нет ника-
кой особенной структуры, поэтому нет гарантии, что их перемножение даст коррект-
ное распределение вероятности. На рис. 16.4 приведен пример чтения информации 
о факторизации из неориентированного графа.
Рис. 16.4 

Из этого графа следует, что распределение 
p
(a, b, c, d, e, f)
можно записать в виде 
(1/
Z
)
ϕ
a, b
(a, b)
ϕ
b, c
(b, c)
ϕ
a, d
(a, d)
ϕ
b, e
(b, e)
ϕ
e, f
(e, f)
при под-
ходящем выборе функций 
ϕ
В примере с распространением болезни между тремя лицами есть две клики. Одна 
из них содержит h
y
и h
c
. Фактор этой клики можно определить с помощью таблицы 
такого вида:
h
y
= 0
h
y
= 1
h
c
= 0
2
1
h
c
= 1
1
10
1
Кликой называется подмножество вершин графа, любые две из которых соединены ребром.

---

Применение графов для описания структуры модели 

477
Состояние 1 означает, что человек здоров, а состояние 0 – что он болен (подхватил 
простуду). И вы, и ваш коллега обычно здоровы, поэтому склонность соответствую-
щего состояния максимальна. Состояние, в котором только один из вас болен, имеет 
наименьшую склонность, поскольку оно встречается редко. У состояния, в котором 
вы оба больны (поскольку один заразил другого), склонность выше, хотя оно встре-
чается не столь часто, как состояние, когда вы оба здоровы.
Чтобы завершить построение модели, нужно еще определить аналогичный фактор 
для клики, содержащей h
y
и h
r
.