Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
и 
y
(3.47)
3.13. Теория информации
Теория информации – это раздел прикладной математики, в котором изучается ко-
личественное содержание информации в сигнале. Первоначально она была создана 
для изучения передачи сообщений, состоящих из символов дискретного алфавита, по 
зашумленному каналу, например в случае радиопередачи. В этом контексте теория 
информации подсказывает, как построить оптимальный код и вычислить ожидаемую 
длину сообщений, выбираемых из конкретного распределения вероятности при раз-
личных схемах кодирования. В контексте машинного обучения теорию информации 
можно применить также к непрерывным величинам, когда некоторые интерпретации 
длины сообщения бессмысленны. Теория информации является основополагающей 
для многих разделов электротехники и информатики. В этой книге мы будем поль-
зоваться лишь немногими ключевыми идеями теории информации, чтобы охаракте-
ризовать распределения вероятности или количественно измерить сходство между 
двумя распределениями. Дополнительные сведения см. в книгах Cover and Thomas 
(2006) или MacKay (2003).
В основе теории информации лежит интуитивное соображение, согласно кото-
рому в наблюдении маловероятного события содержится больше информации, чем 
в наблю дении вероятного события. Сообщение «сегодня утром взошло солнце» на-
столько неинформативно, что его и передавать не нужно, а вот сообщение «сегодня 
утром было солнечное затмение» очень информативно.
Мы хотели бы количественно измерить информацию, чтобы формализовать эту 
идею.

---

Теория информации 

77
 

Вероятные события должны иметь низкое информационное содержание, а ес-
ли событие наступает гарантированно, то информационное содержание отсут-
ствует полностью.