Количество и качество информации
Исследованием методов передачи, хранения и приема информации занимается теория информации,
инструментами которой служат теория случайных процессов, теория кодирования, математическая
статистика, теория вероятностей. Внимание к проблеме передачи и количественной оценки информации
было привлечено фундаментальными работами Н. Винера и К. Шеннона (США), положившими начало
теории информации. Значительный вклад в теорию информации внесли отечественные ученые А.Н.
Колмогоров, A.A. Харкевич, В.А. Котельников, работы которых хорошо известны специалистам во всем
мире.
Важнейшим этапом в теории развития информации явилась количественная оценка информации.
Только принимая за основу новизну сведений, можно дать количественную оценку информации, так как
новизна сведений является следствием неопределенности сведений об объекте, процессе, явлении, а
неопределенность поддается измерению. Например, сообщение имени победившего на выборах в
президенты, если было всего два кандидата, несет меньшее количество информации по сравнению со
случаем, если бы выборы происходили в конкурентной борьбе пяти кандидатов.
Основываясь на идее, что информация устраняет некоторую неопределенность, т. е. незнание,
описание любого события или объекта формально можно рассматривать как указание на то, в каком из
возможных состояний находится описываемый объект. Тогда протекание событий во времени есть не что
иное, как смена состояний, выбранных с некоторой вероятностью из числа всех возможных. Чем выше
уровень неопределенности выбора, тем требуется больший объем информации, и результат выбора имеет
значительную степень неожиданности. Вот почему в теории информации количество информации
является мерой снятия неопределенности одной случайной величины в результате наблюдения за другой.
Если величины независимы, то количество информации равно нулю.
Самым простейшим случаем является выбор альтернативы из двух событий. Поэтому за единицу
информации целесообразно принять количество информации, заключенное в выборе одного из двух
равновероятных событий. Эта единица называется
двоичной единицей,
или
битом (binary digit, bit).
Итак,
при любой неопределенности сужение области выбора вдвое дает одну единицу информации. В физике
существует понятие
энтропии,
которая характеризует степень неупорядоченности (хаотичности)
физической системы. Неупорядоченность может быть интерпретирована в смысле того, насколько мало
известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической
системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной. И
если максимум энтропии соответствует абсолютно случайному состоянию системы, то максимум
информации характеризует полностью упорядоченную (детерминированную) систему. Одним словом,
энтропия системы выражает степень ее неупорядоченности, а информация дает меру ее организации.
Формулу измерения количества информации можно получить эмпирически: для снятия
неопределенности в ситуации из двух равновероятных событий необходим один бит информации; при
неопределенности, состоящей из четырех событий, достаточно двух бит информации, чтобы угадать
искомый факт. Это рассуждение можно продолжить: 3 бита информации соответствуют
неопределенности из 8 равновероятных событий, 4 бита - 16 равновероятных событий и т. д. Таким
образом, если сообщение указывает на один из
n
равновероятных вариантов, то оно несет количество
информации, равное Iog
2
n
. Действительно, из наших примеров Iog
2
16 = 4, Iog
2
8 = 3 и т. д. Ту же формулу
можно словесно выразить иначе: количество информации равно степени, в которую необходимо возвести
2,
чтобы получить число равноправных вариантов выбора, т. е. 2
i
= 16, где
i
= 4 бита.
Будем различать понятия «информация» и «сообщение». Под
сообщением
обычно подразумевают
информацию, выраженную в определенной форме и подлежащую передаче.
Do'stlaringiz bilan baham: |