Основная профессиональная образовательная программа высшего образования

Содержание основных разделов (тем) курса

Тема 1. Энтропия и взаимная информация
Задачи и программа курса. Место курса «Теория информации» в ряду других математических дисциплин. Формы самостоятельной работы студентов по изучению курса. Литература к курсу.
Предмет теории информации. Дискретные случайные величины. Собственная, условная и взаимная информация. Энтропия дискретной случайной величины. Свойства энтропии – симметричность, непрерывность, нижняя и верхняя границы, выпуклость. Энтропия двух и более дискретных случайных величин, условная энтропия, их свойства – аддитивность, правило цепочки, основные неравенства, полуаддитивность, невозрастание при отображении.
Средняя взаимная информация – определение, простейшие свойства. Условная средняя взаимная информация - определение, неотрицательность, условие равенства нулю.
Сопоставление различных подходов к определению энтропии. Система аксиом об энтропии. Теорема о единственности функции, удовлетворяющей системе аксиом об энтропии.
Тема 2. Дискретные источники сообщений
Математическая модель источника сообщений – случайный процесс с дискретным временем и конечным множеством состояний. Цилиндрические множества, условия согласованности и теорема существования продолжения вероятностной меры (без доказательства). Примеры источников сообщения – источник без памяти, простой марковский источник, марковский источник с заданной глубиной зависимости.
Стационарные источники. Стационарность источника без памяти. Условие стационарности простого марковского источника. Теорема о существовании предела энтропии на шаг и пошаговой энтропии для стационарного источника. Утверждения о предельной энтропии для источника без памяти и стационарного простого марковского источника.
Свойство асимптотической равнораспределённости – определение, оценки мощности множества типичных последовательностей, примеры. Теорема об асимптотической равнораспределённости для источника без памяти. Эргодическая теорема для регулярного простого марковского источника (без доказательства). Закон больших чисел для частот биграмм в последовательностях, порождаемых стационарным и регулярным простым марковским источником. Теорема об асимптотической равнораспределённости для стационарного и регулярного простого марковского источника.
Теорема об асимптотической оценке числа высоковероятных последовательностей, порождаемых источником со свойством асимптотической равнораспределённости. Сжимающее кодирование последовательностей, порождаемых источником со свойством асимптотической равнораспределённости.