Я. Гудфеллоу, И. Бенджио, А. Курвилль

дифференциальной энтропией
.
Если 
P
(x) и 
Q
(x) – два распределения вероятности одной и той же случайной ве-
личины x, то измерить, насколько они различаются, позволяет 
расхождение Кульба-
ка–Лейблера (КЛ)
:
(3.50)
Для дискретных величин это дополнительное количество информации (измерен-
ное в битах, если используется логарифм по основанию 2, но в машинном обучении 
обычно используются натуральный логарифм и наты), необходимое для отправки со-
общения, содержащего символы, выбранные из распределения 
P
, если используется 
код, спроектированный для минимизации длины сообщений, выбираемых из распре-
деления 
Q
.

---

78 

 
Теория вероятностей и теория информации 
Энтропия Шеннона 
в 
натах
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0,0
0,0
0,2
0,4
0,6
0,8
1,0
Рис. 3.5 

Энтропия Шеннона бинарной случайной величины. На графи-
ке видно, что у распределений, близких к детерминированному, энтропия 
низкая, а у близких к равномерному – высокая. По горизонтальной оси отло-
жена вероятность 
p
того, что бинарная случайная величина близка к 1. Энт-
ропия вычисляется по формуле 
(
p 
– 1) log(1 – 
p
) – 
p
log 
p
. Если 
p
близка к 0, 
то распределение почти детерминировано, поскольку случайная величина 
почти всегда равна 0. Если 
p
близка к 1, то распределение почти детерми-
нировано, поскольку случайная величина почти всегда равна 1. При 
p
= 0,5 
энтропия максимальна, поскольку оба исхода распределены равномерно
Расхождение КЛ обладает многими полезными свойствами, самое главное из ко-
торых – неотрицательность.
Расхождение КЛ равно 0 тогда и только тогда, когда 
P
и 
Q
– одно и то же рас-
пределение в случае дискретных величин или когда эти распределения совпадают 
«почти всюду» – в случае непрерывных. Поскольку расхождение КЛ неотрицательно 
и измеряет различие между двумя распределениями, его часто концептуально вос-
принимают как средство измерения некоторого расстояния между распределениями. 
Но, строго говоря, эта мера – не расстояние, поскольку не является симметричной: 
D
KL
(
P
||
Q
) 
≠
D
KL
(
Q
||
P
) для некоторых 
P
и 
Q
. Наличие асимметрии означает, что от вы-
бора 
D
KL
(
P
||
Q
) или 
D
KL
(
Q
||
P
) многое зависит. Детали показаны на рис. 3.6.
С расхождением КЛ тесно связана