И В. С. Ямпольсний о основы автоматики и электронно- вычислительной техники нститутов

$ 1.2. ИНФОРМАЦИЯ: ПОНЯТИЕ, КОЛИЧЕСТВО
• /
Работа автоматических комплексов машин и агрегатов невозможна без информационного обмена между их отдельными устройствами и частями. Поэтому, чтобы разобраться в работе автоматических систем управления, нам придется уточнить, что ^ы понимаем под информацией в технических системах.
Сложность понятия «информация» проявляется в том, что оно имеет ряд аспектов. В семантическом (смысловом) аспекте это понятие первично и соответствует терминам «сведения», «знания». Препятствием для использования семантической трактовки понятия «информация» в технических системах является трудность ука­зания количественной меры семантической информации. Не меньшая трудность имеется в определении количественной меры информа­ции и в прагматическом (практическом) аспекте, так как здесь она вводится на основе определения ценности (важности) этой информации для получателя.
В отличие от предыдущих в математическом (операционном) аспекте количественная мера информации легко вводится на ос­нове вероятностной трактовки информационного обмена. Этот способ измерения количества информации впервые предложен К. Шен­ноном в 1948 г. По Шеннону, информация — это сведения, умень­шающие существовавшую до их получения неопределенность. Сте­пень неопределенности характеризуют с помощью вероятности, ко­торая, как. известно, может принимать значения от 0 до 1. Коли­чество информации, содержащейся в сообщении, равно: /=Я₀—Ни где Но и Н| — функции, характеризующие распределение вероят-' ностей до прихода (#о) и после прихода (Н\) сообщения. Для дискретной системы, которая может находиться в одном из п различных состояний, каждое из которых реализуется с вероят­ностью А (*=1,2, ..., п), мерой неопределенности состояния системы является функция

называемая энтропией системы. В частном, но достаточно важном случае, когда каждое состояние равновероятно, т. е.
Р₁=Р₂=...=Р_п=\/п, энтропия системы будет максимальнрй и равной:
^Яг= ~п ( ~ ^,Qg2 4") = log₂rt.
Еще раз упростим ситуацию и рассмотрим простейшую систему, которая может находиться только в одном из двух равновероятных состояний, например электрическую депь с биметаллической пласти­ной в термостате — замкнутую или разомкнутую (см. § 1.1). Сообще­ние о действительном состоянии системы в данное .время несет информацию:
/=Я₀—tf] = log2 2—log2 1 = 1— 0=1.
Это количество информации, выделяющей одно из двух равно­вероятных состояний системы, называется двоичной единицей коли­чества информации — битом (от англ. binary digit — двоичный раз­ряд) .
Вернемся к более сложным системам с п>2 и рассмотрим пульт дисплея с 64 клавишами — символами букв, цифр, матема­тических и служебных знаков. Максимальное количество информа­ции, которое создает эта система при нажатии одной клавиши, равно, очевидно, максимальной энтропии при равновероятной частоте нажатия любой клавиши (случай, когда за дисплеем сидит не­грамотный ребенок, ибо в осмысленном тексте частота появления различных букв и знаков различна):
^0=log264:?=Iog2 2^б—6 бит.
Предположим, что нам сообщили: «нажата цифровая клавиша». Так как таких клавиш всего 10 (0, 1, ..., 9) и вероятность на­жатия каждой из них одинакова, то после сообщения энтропия системы равна:
Я, —log₂ 10=3,32 бит,
»
и, следовательно, в переданном нам сообщении содержалось /=#о—Н|==6—3,32=2,68 бит информации.
При нажатии четырех клавиш из 64 общее количество возмож­ных сочетаний n = 64* — 2'^J4— 16777216; следовательно, четыре симво­ла могут содержать
iog₂ 2²⁴=24 бит информации.
Если при последовательном нажатии на четыре клавиши случайно получится осмысленное русское слово (а четырехбуквенных слов в словаре русского языка около тысячи), то сообщение об этом
уменьшит энтропию системы до //, = log2 1000 и, следовательно, сообщение содержало в себе
I
log2 2^,0= 10 бит.
—Hо—Нj =24—10= 14 бит информации.