Axborot va kodlash nazariyasi asoslari

Shennon - Fano kodi paydo bo‘lguncha aloqa kanallari orqali uzatilayotgan axborotlardagi belgilar uzunligi bir xil bo‘lgan bitlar yordamida kodlashtirilar edi. Shennon - Fano kodi paydo bo‘lgandan so‘ng uzatilayotgan axborotdagi har bir belgining paydo bo‘lish ehtimolligiga qarab turib, uzunligi har xil bo‘lgan bitlar yordamida kodlash imkoniyati paydo bo‘ldi. Axborotda biror bir belgining paydo bo‘lish ehtimolligi kattaroq bo‘lsa, uni ikkilik sanoq tizimidagi kodining uzunligi “kichikroq bit” bo‘ladi. Agar axborotda biror bir belgining paydo bo‘lish ehtimolligi kichikroq bo‘lsa, uni ikkilik sanoq tizimidagi kodining uzunligi “kattaroq bit” bo‘ladi.

Qurish texnikasi bo‘yicha Shennon va Fano kodlari bir-biriga yaqin bo‘lganligi uchun Shennon - Fano kodi deyiladi. Ushbu kod 1948 yilda paydo bo‘lgan. Ushbu algoritm yordamida axborotni kodlashtirish quyidagicha amalga oshiriladi:

• 
  axborotdagi barcha belgilarning umumiy soni N hisoblanadi;
  
• 
  N ta belgidan iborat bo‘lgan axborotdan har bir belgining paydo bo‘lish chastotasi yoki paydo bo‘lish extimolligi hisoblanadi;
  
• 
  har bir belgining paydo bo‘lish chastotasi kamayib borish tartibida jadvalga joylashtiriladi;
  
• 
  umumiy bo‘lgan jadvaldagi yig‘indi teng ikkiga bo‘linadi va tepa qismiga «1» ni, pastki qismiga «0» ni qo‘yiladi;
  
• 
  teng ikkiga bo‘lish kodlashtirilayotgan axborotdagi har bir belgiga bittadan «1» yoki «0» qolguncha davom ettiriladi;