Axborot va kodlash nazariyasi asoslari

Misol 1. Xabar manbai 2 ta x_1, x₂ belgilardan iborat axborotni uzatishi kerak, ya’ni axborotdagi belgilar soni N = 2 ga teng. Ikkala element ham bir – biriga bog‘liq emas va paydo bo‘lish ehtimolliklari bir xil. U holda axborot hajmini hisoblang?

Yechish : Agar x₁ va x₂ belgilar bir – biriga bog‘liq bo‘lmasa ehtimoliklari bir – biriga teng bo‘lsa, unda R (x₁)=R(x₂)=1/N=0,5 . U holda axborot hajmi:
I_max = log ₂ 0,5 = 1 bit ga teng bo‘ladi.
O‘zaro axborot yordamida ma’lum bo‘lmagan X tizim haqidagi axborot hajmini aniqlash mumkin.

Amaliyotda X tizimning holatini to‘g‘ridan to‘g‘ri aniqlash mumkin bo‘lmaydi, bunday holatda X tizim bilan ma’lum bir darajada bog‘liq bo‘lgan Y tizimni holatini o‘rganish orqali X tizimning holati o‘rganiladi.

Masalan, kosmik korablning holatini to‘g‘ridan-to‘g‘ri nazorat qilish o‘rniga uning apparaturalaridan kelayotgan signallar to‘plamining holati o‘rganiladi va uning asosida kosmik kema to‘g‘risida ma’lumot shakllanadi. Yoki futbol matchini televizor orqali ko‘rish.

Bunda X va Y tizimlar o‘rtasida 2 turdagi farq bo‘lishi mumkin:

1) X tizimning bir xil xolatlari Y tizimda o‘z aksini topmaydi (Y tizim X tizimning holatini aniq ko‘rsatib bera olmaydi);

2) Ikki tizim o‘rtasidagi farq xatoliklar evaziga sodir bo‘ladi:

- X tizim parametrlarini aniq o‘lchamaslikdagi xatolar;

- ma’lumot uzatishda yuz beradigan xatolar. Masalan oq-qora televizorda rang yo‘qoladi, sifati shovqinlar tufayli pasayadi.

- Y tizim X tizimdan farq qiladi.

Y tizimda X tizim to‘g‘risidagi axborot miqdorining qanday hajmi uning holatini Y tizim orqali nazorat qilish imkonini beradi, degan savol tabiiy.

Bunday axborot X tizimning entropiyasi kamayganini bildiradi, chunki uning to‘g‘risidagi axborot hajmi Y tizimda mavjud, ya’ni:

L _{Y→ X} = H (X) – H (X/Y)

Bu yerda H(X) – tizimni nazorat qilishdan oldingi entropiya qiymati;

H (X/Y) - axborot olingandan keyin qolgan entropiya qiymati.

- Y tizimda X tizim to‘g‘risidagi to‘liq yoki o‘rta axborot miqdori.

Umumiy holatda, ikki tizim mavjudligida har bir tizim boshqasiga nisbatan bir xil to‘liq axborotga ega bo‘ladi. Bu ta’rif quyidagi formulalar orqali isbotlanadi:

H (X,Y) = H (X) + H (Y/X)

H (X,Y) = H (Y) + H (X/Y)

Bundan

H (X) + H (Y/X) = H (Y) + H (X/Y)

H (X) – H (X/Y) = H (Y) – H ( Y/X)
Natijada

L_{Y→ X} = L _X→Y = L _X↔Y

L _X↔Y X va Y tizimlarda bir-birlari to‘g‘risida saqlanayotgan to‘liq axborot deyiladi.

Ikki tizim orasida har xil xolat bo‘lishi mumkin:

a) X va Y tizimlar bir-biriga hech ham bog‘liq emas va bir-biri to‘g‘risida hech qanday ma’lumot yo‘q, ya’ni X va Y - mustaqil tizimlardir.

Bunda H(Y/X) = H(Y), i * = 0, ya’ni X tizim bilan hech qanday bog‘liq bo‘lmagan Y tizimni nazorat qilish oqibatida X tizim to‘g‘risida ma’lumot olish mumkin emas.

b) X va Y tizimlar bir-birini to‘liq ifodalaydi, ya’ni bir-biriga o‘xshaydi.

Bunda

H(X)=H(Y), H(X/Y)=H(Y/X)=0

va

L_X↔Y = L _X = L _Y = H (X) = H (Y)

X i Y tizim orasida bir taraflama qattiq bog‘lanish bo‘lgan holat tahlil qilinadi, ya’ni bir tizim ikkinchi tizimning holatini to‘liq aniqlab beradi, lekin teskari holat mavjud emas, ya’ni ikkinchi tizim birinchi tizimning holatini aniqlab bermaydi.

Umuman olganda, bo‘ysunadigan tizimning holatiga qarab boshqaradigan tizimning holatini to‘liq aniqlab bo‘lmaydi.

Bo‘ysunadigan tizim entropiyasining qiymati boshqaradigan tizim entropiyasidan kam, chunki odatda boshqaradigan tizim to‘g‘risida ma’lumot kam, bo‘ysunadigan tizim to‘g‘risidagi ma’lumot yetarli darajada bo‘ladi.

Bunday holatda, ya’ni biri boshqaradigan, boshqasi esa bo‘ysunadigan tizimlarda bir-birlari to‘g‘risida saqlanayotgan to‘liq ma’lumot miqdori bo‘ysunadigan tizimning entropiyasiga teng bo‘ladi.

X i Y tizimlardan Y bo‘ysunadigan va X boshqaradigan tizimlar bo‘lsin. Bunda H(Y/X)=0, va L _X↔Y = H (Y)

Shunday qilib, ikki tizimdan biri bo‘ysunadigan holatda tizimlarda bir-birlari to‘g‘risida saqlanayotgan to‘liq ma’lumot miqdori bo‘ysunadigan tizimning entropiyasiga teng bo‘ladi.

To‘liq ma’lumot qiymatini hisoblash formulasini shartli entropiya formulasi orqali emas, balki ikki tizimning umumiy entropiyasi va har bir tizimning entropiyasi H(X), H(Y) orqali ifodalash mumkin.

L _{X↔Y =} H (X) – H (X/Y),

H (X,Y) = H (Y) + H (X/Y)

L _Y↔X = H (X) + H (Y) – H (X, Y)

Tizimlar o‘rtasidagi o‘zaro to‘liq axborotlarni ehtimollik nazariyasi formulalari orqali ifodalanishi quyidagicha bajariladi. Buning uchun entropiya qiymatlarini matematik kutilma formulasi orqali yozib chiqamiz:

 H(X)=M[-log P(X)], H(Y)=M[-log P(Y)], H(X,Y)=M[-log P(X,Y)]

 

Bunda to‘liq axborot qiymati quyidagicha ifodalanadi:

Y oki

tizimlarning hamma holatlarini hisobga olgan holda formula quyidagicha yoziladi: