Axborot va kodlash nazariyasi asoslari

2-ma’ruza bo‘yicha nazorat savollari

1. 
   Ma’lumotlar uzatish tizimiga tushuncha bering?
   
2. 
   MUT tuzilish chizmasi ishlash tartibi qanday?
   
3. 
   Ma’lumot uzatish tizimlarining sifat ko‘rsatkichlari nimalardan iborat?
   
4. 
   MUTga qanday talablar qo‘yiladi?
   
5. 
   Entropiya nima?
   

3-ma’ruza. Shartli va o‘zaro bog‘liq axborotlar, ularning xususiyatlari.

Reja:

1. 
   O‘zaro bog‘liq axborotlar
   
2. 
   Shartli axborotlar
   
3. 
   Entropiyani hisoblash formulasining fizik mohiyati
   

Diskret xabar tarkibidagi axborot hajmini o‘lchash birligi bit hisoblanadi.

U yoki bu xabar paydo bo‘lish ehtimolligi qanchalik kam bo‘lsa, uning qabulidagi olinadigan axborot shunchalik ko‘p bo‘ladi.

Agar xabar manbai xotirasida bir – biridan holi (x₁ va x₂) xabarlar bo‘lib, ulardan birinchisining R(x₁) = 1 ehtimollik bilan uzatiladigan bo‘lsa, u holda x₁ xabar axborot tashimaydi, chunki u oldindan xabar oluvchiga ma’lum deb hisoblanadi.

Bitta xabarga (x_i) to‘g‘ri keladigan axborot hajmi quyidagicha aniqlanadi:
I (a_i) = log ₂ [1/P (x₁)] = log ₂ P (x₁) (1.1)
bu yerda P (x_i) – xabardagi x_i belgining paydo bo‘lish ehtimolligi.