Axborot va kodlash nazariyasi asoslari

MUTga qo‘yiladigan talablar: Diskret xabarlarni uzatish (DXU) tizimi bu – manba’dan qabul qiluvchiga xabarlar oqimini uzatishni ta’minlovchi texnik vositalar kompleksidir. Xabarlarni qabul qiluvchi DXU tizimiga quyidagi talablarni qo‘yadi:

• 
  Uzatish aniqliligi;
  
• 
  Uzatish tezligi, vaqti;
  
• 
  Ishonchlilik.
  

Axborotdagi belgillarning poydo bo‘lishi extimolligi bilan axborot xajmi o‘rtasidagi bog‘liq Klod Shennon teoremasida o‘z ifodasini topgan, ya’ni axborotdagi har bir belgiga mos keluvchi axborotni o‘rtacha hajmi (soniga) entropiya deb yuritiladi.

Entropiya – bu xabarlar manbaining holatidagi noaniqligining o‘lchovi ham hisoblanadi. Agar manba tomonidan 1 ga teng ehtimoli bilan faqat bitta belgi uzatilayotgan bo‘lsa, u holda entropiya nolga tengdir. Agar xabar manbaidan uzatilayotgan belgilar bir xil ehtimolli bilan paydo bo‘lsa, entropiya maksimal bo‘ladi.