$ 1.2. ИНФОРМАЦИЯ: ПОНЯТИЕ, КОЛИЧЕСТВО
• /
Работа автоматических комплексов машин и агрегатов невозможна без информационного обмена между их отдельными устройствами и частями. Поэтому, чтобы разобраться в работе автоматических систем управления, нам придется уточнить, что ^ы понимаем под информацией в технических системах.
Сложность понятия «информация» проявляется в том, что оно имеет ряд аспектов. В семантическом (смысловом) аспекте это понятие первично и соответствует терминам «сведения», «знания». Препятствием для использования семантической трактовки понятия «информация» в технических системах является трудность указания количественной меры семантической информации. Не меньшая трудность имеется в определении количественной меры информации и в прагматическом (практическом) аспекте, так как здесь она вводится на основе определения ценности (важности) этой информации для получателя.
В отличие от предыдущих в математическом (операционном) аспекте количественная мера информации легко вводится на основе вероятностной трактовки информационного обмена. Этот способ измерения количества информации впервые предложен К. Шенноном в 1948 г. По Шеннону, информация — это сведения, уменьшающие существовавшую до их получения неопределенность. Степень неопределенности характеризуют с помощью вероятности, которая, как. известно, может принимать значения от 0 до 1. Количество информации, содержащейся в сообщении, равно: /=Я 0—Ни где Но и Н| — функции, характеризующие распределение вероят-' ностей до прихода (#о) и после прихода (Н\) сообщения. Для дискретной системы, которая может находиться в одном из п различных состояний, каждое из которых реализуется с вероятностью А (*=1,2, ..., п), мерой неопределенности состояния системы является функция
называемая энтропией системы. В частном, но достаточно важном случае, когда каждое состояние равновероятно, т. е.
Р1=Р2=...=Рп=\/п, энтропия системы будет максимальнрй и равной:
Яг= ~п ( ~ ,Qg2 4") = log2rt.
Еще раз упростим ситуацию и рассмотрим простейшую систему, которая может находиться только в одном из двух равновероятных состояний, например электрическую депь с биметаллической пластиной в термостате — замкнутую или разомкнутую (см. § 1.1). Сообщение о действительном состоянии системы в данное .время несет информацию:
/=Я0—tf] = log2 2—log2 1 = 1— 0=1.
Это количество информации, выделяющей одно из двух равновероятных состояний системы, называется двоичной единицей количества информации — битом (от англ. binary digit — двоичный разряд) .
Вернемся к более сложным системам с п>2 и рассмотрим пульт дисплея с 64 клавишами — символами букв, цифр, математических и служебных знаков. Максимальное количество информации, которое создает эта система при нажатии одной клавиши, равно, очевидно, максимальной энтропии при равновероятной частоте нажатия любой клавиши (случай, когда за дисплеем сидит неграмотный ребенок, ибо в осмысленном тексте частота появления различных букв и знаков различна):
^0=log264:?=Iog2 2б—6 бит.
Предположим, что нам сообщили: «нажата цифровая клавиша». Так как таких клавиш всего 10 (0, 1, ..., 9) и вероятность нажатия каждой из них одинакова, то после сообщения энтропия системы равна:
Я, —log2 10=3,32 бит,
»
и, следовательно, в переданном нам сообщении содержалось /=#о—Н|==6—3,32=2,68 бит информации.
При нажатии четырех клавиш из 64 общее количество возможных сочетаний n = 64* — 2'J4— 16777216; следовательно, четыре символа могут содержать
iog2 224=24 бит информации.
Если при последовательном нажатии на четыре клавиши случайно получится осмысленное русское слово (а четырехбуквенных слов в словаре русского языка около тысячи), то сообщение об этом
уменьшит энтропию системы до //, = log2 1000 и, следовательно, сообщение содержало в себе
I
log2 2,0= 10 бит.
—Hо—Нj =24—10= 14 бит информации.
Do'stlaringiz bilan baham: |