Mavzu: kod tushunchasi. Reja

H –ma’lumot manbaning entropiyasi;
C - aloqa kanalining uzatish qobiliyati.
E'tiborni teoremaning isbotiga qaratmasdan, uning imkoniyatiga
to'xtalamiz: ushbu teorema kod simvollarining bir xil ehtimol va bir-biriga bog'liq bo'lmagan holda kelib tushishini ta'minlaydi, har bir simvol yordamida bir nuqtadan ikkinchisiga uzatilayotgan axborot hajmi log2 k (bit/element) ga teng bo'ladi.
Lekin teorema qanday usul asosida samarali kodlash mumkinligi to'g'risida hech qanday ko'rsatma bermaydi.
Keltirilgan xususiyatlarga asoslanib, ma'lumotlarning o'zaro bog'liq va
o'zaro bog'liq bo'lmagan simvollarini samarali kodlash bo'yicha bir qator
algoritmlar ishlab chiqilgan, ular bugunda ham samarali kodlash jarayonlarida qo'llaniladi.
Algoritmlar ma'lumot manbaida ko'p qaytariladigan simvollarni eng kichik uzunlikdagi kod kombinasiyalari bilan kodlashga asoslanadi.
Axborotni kamroq bitlarni sarflab uzatish axborotni kodlashtirishning
samarali usullarining maqsad va vazifasi hisoblanadi. Axborotni
kodlashtirishning samarali usullaridan foydalanilganda kanalning
o'tkazuvchanlik qobiliyatidan samarali foydalanish mumkin.
Shennon - Fano kodi paydo bo'lguncha aloqa kanallari orqali uzatilayotgan axborotlardagi belgilar uzunligi bir xil bo'lgan bitlar yordamida kodlashtirilar edi.Shennon - Fano kodi paydo bo'lgandan so'ng uzatilayotgan axborotdagi har bir belgining paydo bo'lish
ehtimolligiga qarab turib, uzunligi har xil bo'lgan bitlar yordamida kodlash imkoniyati paydo bo'ldi.Axborotda biror bir belgining paydo bo'lish ehtimolligi kattaroq bo'lsa, uni ikkilik sanoq tizimidagi kodining uzunligi “kichikroq bit” bo'ladi.
Agar axborotda biror bir belgining paydo bo'lish ehtimolligi kichikroq
bo'lsa, uni ikkilik sanoq tizimidagi kodining uzunligi “kattaroq bit” bo'ladi. Samarali kodlash algoritmlarining kamchiliklari;
- tashqi shovqinlarga ta'sirchanligi - shovqin ta'sirida bitta elementda
sodir bo'lgan xato bir kod kombinasiyasini vaqt birligi bo'yicha boshqa qiymatga ega ikkinchisiga o'tib ketishiga sabab bo'lishi mumkin;
- bir kod simvoli boshqa vaqt birligidagi simvolga aylanishi mumkin,
buning oqibatida joriy va keyingi simvollar noto'g'ri dekodlanadi va birlamchi ma'lumot boshqa ma'lumotga o'zgarib ketadi; - keyingi kamchilik bu texnikaviy jihatdan ularni yaratish murakkabligi
hisoblanadi: - qurilma bufer va simvollarni yig'ish uskunalariga ega bo'lishi kerak.
Chunki aloqa kanallari bir xil uzunlikdagi kod kombinasiyalarini uzatishda samarali ishlaydi, yuqoridagi algoritmlardagi kod kombinasiyalarining uzunligi har xil, ularni yig'ib bir tugallangan ma'lumot shakliga keltirish uchun oldin qabul qilingan simvollarni saqlash kerak bo'ladi.