Я. Гудфеллоу, И. Бенджио, А. Курвилль

 

Чем меньше вероятность события, тем выше информационное содержание.
 

Информация, содержащаяся в независимых событиях, складывается. Напри-
мер, событие, заключающееся в выпадении орла два раза, должно содержать 
в два раза больше информации, чем событие однократного выпадения орла.
Чтобы удовлетворить все три свойства, определим 
собственную информацию
со-
бытия x = 
x
:
I
(
x
) = –log 
P
(
x
). 
(3.48)
В этой книге log всегда означает натуральный логарифм (по основанию 
e
). Поэто-
му в нашем определении 
I
(
x
) измеряется в 
натах
. Один нат равен количеству инфор-
мации, содержащемуся в наблюдении события с вероятностью 1/
e
. В других учебни-
ках используются логарифмы по основанию 2, соответствующие единицы измерения 
называются 
битами
, или 
шеннонами
; информация, измеренная в битах, отличается 
от измеренной в натах только постоянным коэффициентом.
Если x – непрерывная случайная величина, то по аналогии используется точно 
такое же определение информации, но некоторые свойства, справедливые в дискрет-
ном случае, утрачиваются. Например, событие с единичной плотностью содержит 
нулевую информацию, хотя и не является достоверным.
Собственная информация относится только к одному исходу. Мы можем количе-
ственно выразить неопределенность всего распределения вероятности, воспользо-
вавшись 
энтропией Шеннона
H
(
x
) = 
𝔼
x
∼
P
[
I
(
x
)] = –
𝔼
x
∼
P
[log 
P
(
x
)],
(3.49)
которая обозначается также 
H
(
P
). Иными словами, энтропия Шеннона распределе-
ния – это математическое ожидание количества информации в событии, выбираемом 
из этого распределения. Энтропия дает нижнюю границу числа бит (если логарифм 
берется по основанию 2, в противном случае единицы измерения иные), необходимое 
в среднем для кодирования символов, выбираемых из распределения 
P
. Почти де-
терминированные распределения (когда исход испытания почти достоверен) имеют 
низкую энтропию; распределения, близкие к равномерному, – высокую. Энтропия 
иллюстрируется на рис. 3.5. Если x – непрерывная величина, то энтропия Шеннона 
называется