Axborot va kodlash nazariyasi asoslari

3-ma’ruza bo‘yicha nazorat savollari

1. 
   Entropiya nima? Uning qiymati qanday hisoblanadi?
   
2. 
   Tizimlar orasida o‘zaro bog‘liq axborotlar deganda nima tushuniladi?
   
3. 
   Tizimlar orasida o‘zaro bog‘liq axborotlarning entropiya asosidagi formulasini xisoblang?
   
4. 
   Entropiyani hisoblash formulasining fizik mohiyati nima?
   

4-ma’ruza. Axborotni kodlash usullari. Shennon – Fano, Xaffman teoremalari. Samarali kodlash usullaridan foydalanish.
Reja:

1. 
   Axborotni kodlashning maqsadi va afzalliklari.
   
2. 
   Axborotni Shennon – Fano usuli bo‘yicha kodlash.
   
3. 
   Axborotni Xaffman usuli bo‘yicha kodlash.
   

Axborot nazariyasi nuqtai nazaridan axborotni kodlash – bu axborot manbaidagi alfavitni ma’lum bir tartibda shartli simvollar bilan almashtirib chiqish tushuniladi.

Kod (kod alfaviti) – berilgan birlamchi ma’lumotni kodlashtirish maqsadida ishlatiladigan shartli simvollarning to‘liq to‘plami hisoblanib, ma’lum bir kodlash qoidasi negizida amalga oshiriladi. Kod alfavitini tashkil etadigan har xil kod simvollari kod alfavitining hajmi deyiladi. Kod alfavitining hajmi kodlashtiriladigan birlamchi ma’lumot alfavitining hajmidan kam bo‘lishi mumkin emas.

Kodlashtirish – bu birlamchi ma’lumotni aloqa kanallari orqali uzatishga mo‘ljallangan kod simvollari alfaviti bilan ifodalashdir.

Kodlash kod simvollari qanday ko‘rinishda berilganiga qarab, raqamli va raqamsiz bo‘lishi mumkin: ikkilik, sakkizlik, 16 tilik sanoq tizimida yoki qandaydir belgi yoki ob’ektlar ko‘rinishida. Ko‘p hollarda kod simvollari oddiy raqamlar ketma-ketligi yoki raqamlar to‘plami sifatida tasvirlanadi. Bunda ular kod simvollarining elementi hisblanadi. Kod so‘zi tarkibidagi raqamning joylashishi yoki tartib raqami uning pozitsiyasini belgilaydi.