Я. Гудфеллоу, И. Бенджио, А. Курвилль

Контекстными независимостями
называются такие отношения неза-
висимости, которые присутствуют в зависимости от значений некоторых величин 
в сети. Например, рассмотрим модель с тремя бинарными величинами: a, b и c. Пред-
положим, что при a = 0 величины b и c независимы, а при a = 1 b всегда равно c. Чтобы 
представить такое поведение при a = 1, необходимо провести ребро между b и c. Но 
тогда граф не сможет показать, что b и c независимы при a = 0.
Вообще, граф никогда не позволяет сделать вывод о наличии независимости, если 
таковой не существует. Однако могут существовать независимости, не представлен-
ные в графе.
16.2.6. Преобразование между ориентированными 
и неориентированными графами
Мы часто называем конкретную модель машинного обучения ориентированной или 
неориентированной. Например, ограниченная машина Больцмана обычно считается 
неориентированной моделью, а разреженное кодирование – ориентированной. Такой 
выбор слов вносит некоторую путаницу, потому что никакая вероятностная модель 
не является внутренне ориентированной или неориентированной. Просто одни мо-
дели проще описывать с помощью ориентированного графа, а другие – с помощью 
неориентированного.

---

482 

 
Структурные вероятностные модели в глубоком обучении 
(c)
(a)
(d)
(b)
Рис. 16.8 

Все возможные виды активных путей длины 2 между случай-
ными величинами 
a
и 
b
. (
a
) Любой путь со стрелками в одном направлении: 
от 
a
к 
b
или наоборот. Такой путь будет блокирован, если 
s
– наблюдаемая 
величина. Мы уже встречались с такими путями в примере эстафеты. (
b
) 
Величины 
a
и 
b
связаны 
общей причиной
s
. Допустим, к примеру, что ве-
личина 
s
определяет наличие урагана, а величины 
a
и 
b
измеряют скорость 
вет ра в двух соседних метеостанциях. Если на станции a наблюдается 
очень сильный ветер, то можно ожидать сильного ветра и на станции 
b
. 
Путь такого вида может блокироваться наблюдением 
s
. Если мы уже знаем, 
что ураган есть, то можно ожидать сильного ветра в 
b
вне зависимости от 
того, что наблюдается в 
a
. Если ветер в a слабее ожидаемого (для урагана), 
то ожидаемая сила ветра в 
b
от этого не изменится (при условии что мы 
знаем о наличии урагана). Но если 
s
– ненаблюдаемая величина, то 
a
и 
b
за-
висимы, т. е. путь активен. (
c
) Величины 
a
и 
b
– родители 
s
. Это называется