Я. Гудфеллоу, И. Бенджио, А. Курвилль

распределением Гиббса
.

---

478 

 
Структурные вероятностные модели в глубоком обучении 
ных 
β
получается нормальное распределение 
x
, а при всех остальных 
ϕ
невозможно 
нормировать.
Одно из основных различий между ориентированным и неориентированным моде-
лированием состоит в том, что ориентированные модели с самого начала определены 
непосредственно в терминах распределений вероятности, тогда как неориентирован-
ные – более свободно, в терминах функций 
ϕ
, которые впоследствии преобразуются 
в распределения вероятности. Поэтому при работе с этими моделями интуитивные 
соображения различны. Имея дело с неориентированными моделями, важно пом-
нить, что область определения каждой величины сильно влияет на вид распределе-
ния вероятности, соответствующего данному множеству функций 
ϕ
. Рассмотрим, на-
пример, 
n
-мерную векторную случайную величину 
x
и неориентированную модель, 
параметризованную вектором смещений 
b
. Предположим, что для каждого элемента 
x
имеется одна клика 
ϕ
(
i
)
(
x
i
) = exp(
b
i
x
i
). Какое распределение вероятности при этом 
получается? Для ответа на этот вопрос недостаточно информации, потому что мы еще 
не задали область определения 
x
. Если 
x
∈
ℝ
n
, то интеграл, определяющий 
Z
, расходит-
ся, и никакого распределения вероятности не существует. Если 
x
∈
{0, 1}
n
, то 
p
(
x
) раз-
лагается в произведение 
n
независимых распределений: 
p
(x
i
= 1) = sigmoid(
b
i
). Если 
область определения