Я. Гудфеллоу, И. Бенджио, А. Курвилль

16.2.3. Статистическая сумма
Для ненормированного распределения вероятности гарантируется, что оно всюду не-
отрицательно, но не гарантируется, что сумма или интеграл равны 1. Чтобы получить 
корректное распределение вероятности, необходимо произвести нормировку
1
:
(16.4)
где коэффициент 
Z
обеспечивает равенство суммы вероятностей или интеграла плот-
ности единице:
(16.5)
Z 
можно считать константой, если функции 
ϕ
постоянны. Отметим, что если 
у функций 
ϕ
есть параметры, то 
Z
– функция этих параметров. В литературе при-
нято записывать 
Z
без параметров для экономии места. Нормировочная постоянная 
Z
называется 
статистической суммой
, этот термин заимствован из статистической 
физики.
Поскольку 
Z
– это интеграл или сумма по всем возможным совместным распре-
делениям состояния 
x
, вычислить его зачастую невозможно. Чтобы все же получить 
нормированное распределение вероятности неориентированной модели, структура 
модели и определения функций 
ϕ
должны допускать эффективное вычисление 
Z
. 
В контексте глубокого обучения точное вычисление 
Z
– обычно неразрешимая за-
дача. А раз так, то мы должны прибегнуть к аппроксимациям. Такие приближенные 
алгоритмы – тема главы 18.
При проектировании неориентированных моделей важно иметь в виду, что задать 
факторы можно таким образом, что 
Z
вообще не существует. Это происходит, если 
некоторые случайные величины в модели непрерывны, а интеграл 
p
~ по их области 
определения расходится. Предположим, к примеру, что мы хотим построить модель 
одной скалярной величины x 
∈
ℝ
с одним потенциалом клики 
ϕ
(
x
) = 
x
2
. В таком случае
(16.6)
Поскольку этот интеграл расходится, не существует распределения вероятно-
сти, соответствующего такому выбору 
ϕ
(
x
). Иногда от выбора некоторого пара-
метра функций 
ϕ
зависит, определено ли распределение вероятности. Например, 
для 
ϕ
(
x
; 
β
) = exp(–
β
x
2
) параметр 
β
определяет существование 
Z
. При положитель-
1
Распределение, полученное нормировкой произведений потенциалов клик, называют так-
же