Я. Гудфеллоу, И. Бенджио, А. Курвилль

68 

 
Теория вероятностей и теория информации 
Ковариационной матрицей
случайного вектора 
x
∈
ℝ
n
называется матрица раз-
мера 
n
×
n
– такая, что
Cov(
x
)
i
, 
 j
=
Cov(x
i
, x
j
). 
(3.14)
Диагональные элементы ковариационной матрицы равны дисперсии:
Cov(x
i
, x
j
) = Var(x
i
). 
(3.15)
3.9. Часто встречающиеся распределения 
вероятности
В контексте машинного обучения полезно несколько простых распределений вероят-
ности.
3.9.1. Распределение Бернулли
Распределение Бернулли
– это распределение одной случайной величины, прини-
мающей всего два значения. У него имеется единственный параметр 
ϕ
∈
[0, 1], опре-
деляющий, с какой вероятностью случайная величина равна 1. Это распределение 
обладает следующими свойствами:
P
(x = 1) = 
ϕ
(3.16)
P
(x = 0) = 1 – 
ϕ
 
(3.17)
P(x = 
x
) = 
ϕ
x
(1 – 
ϕ
)
1–
x 
(3.18)
𝔼
x
[x] = 
ϕ
 
(3.19)
Var
x
(x) = 
ϕ
(1 – 
ϕ
) 
(3.20)
3.9.2. Категориальное распределение
Категориальным распределением (или распределением «multinoulli») называется 
распределение одной дискретной случайной величины, принимающей конечное чис-
ло значений 
k
1
. Категориальное распределение параметризовано вектором 
p
∈
[0, 1]
k
–1
,
где 
p
i
–
вероятность 
i
-го состояния. Вероятность последнего, 
k
-го, состояния равна 
1 –