Signallarni uzatish nazariyasi 2- qisim Ma’ruza 30 soat Amaliy mashg’ulotlar – 30 soat Labaratoriya mashg’ulotlari – 30 soat

Uzluksiz manba (buyerda , - alfavit xajmi) ketma-ketlikda xabar ishlab chiqiladi.

Bu yerda - bitta sanoqqa to’g’ri kelgan uzluksiz manba entropiyasi;

- kvantlash qadamlari soni;
- kvantlash qadami;
- tasodifiy uzluksiz miqdorlarning differentsial ehtimollik zichligi taqsimoti ;
(2.26) ifodadagi e’tiborga olib uni quyidagicha soddalashtiramiz
. (2.27)
Uzluksiz manba entropiyasi cheksizdir, chunki uzliksiz axborot vaqt bo’yich ham, qiymati bo’yicha ham cheksiz ko’p qiymatlarni qabul qiladi. (2.27) –ifodada
- ehtimollik zichligi taqsimotiga bog’liq kattalik bo’lib, differentsial entropiya deyiladi;
- ehtimollik zichligi taqsimotiga bog’liq bo’lmagan kattalik bo’lib, shartli differentsial entropiya deyiladi. Bu kattalik shovqin entropiyasi deb ham ataladi

Demak, uzluksiz manba entropiyasi, yani “kutilmaganlik” (noaniqlik) diskret qiymatdan uzluksiz qiymatga o’tganda cheksiz kattalashadi, xabarning oraliqda bo’lish ehtimolligi cheksiz kamayadi. Natijada uzluksiz xabar qiymatlarining “kutilmaganlik” ehtimolligi keskin kamayadi.

Diskret xabarlar man’bayi entropiyasi
Diskret manba (buyerda , - alfavit xajmi) ketma-ketlikda xabar ishlab chiqarmoqda.
Bitta xabarga to’g’ri keladigan o’rtacha axborot miqdori:

o’zaro bog’liq bo’lmagan xabar uchun:
.
n o’zaro bog’liq xabar uchun manba shartli entropiyasi quyidagicha hisoblanadi:
INCLUDEPICTURE "https://siblec.ru/img/89/089.files/image1118.gif" \* MERGEFORMATINET
H(a) ifoda axborot manbasi entropiyasi deb ataladi. Axborotlar nazariyasida H(a) entropiya manbaning qaysi xabar to’plamidan (ansamblidan) xabar uzatilishi uzatilishiga qadar noma’lum bo’lishini tafsiflaydi. Manba entropiyasi, yani u ishlab chiqaraytgan xabarning “noaniqligi” (“kutilmaganligi”, “avvaldan bashorat qilina olmasligi”) qancha katta bo’lsa bitta xabar tashiydigan axborot miqdori shuncha katta bo’ladi. .

Misol tariqasida Gauss qonuniga bo’ysunuvchi shovqin differentsial entropiyasini aniqlashni ko’rib chiqamiz. Ma’lumki tasodifiy kattaliklar Gauss taqsimotiga bo’sunsa uning o’rtacha qiymati nolga dispertsiyasi gat eng bo’ladi. Bu shovqin ehtimollik zichligi taqsimoti quyidagicha aniqlanadi

. (2.28)
(2.28) ifodani differentsial entropiyani hisoblash ifodasiga qo’yib, quyidagi igodani olamiz:

. (2.29)
(2.29)- ifodada va ga tengligini hisobga olib differentsial entropiyani hisoblash uchun quyidagi ifodani olamiz:

. (2.30)
(2.30) ifodadan ko’rinib turudiki, Gauss shovqini differentsial entropiyasi faqat bog’liq bo’lib, u oshishi bilan uzluksiz oshib bo’radi. Bu ifodadan quyidagi xulosan chiqarish mumkin: oniy qiymatlari har qanday tasodifiy taqsimoti zichligiga bo’sunuvchi tasodifiy jarayonlar ichida (agar ularning dispertsiyasi bir xil bo’lsa) Gauss taqsimoti qonuniga bo’sunuvchi tasodifiy jarayonlarning entropiyasi eng katta bo’ladi.
hossalari:
- moddiy, chegaralangan va manfiy qiymatlarni ham qabul qilishi mumkin;
- tanlab olingan tasodifiy miqdorlarning o’lchov birligiga (taqsimot qonuniga) bog’liq:

- eng yuqori entropiyaga taqsimoti normal qonunga bo’sinuvchi shovqin entropiyasi ega bo’ladi.
→ ;
- addetiv, yani bir nechta sanoqlarning (bo’laklarning) entropiyasi ularning yig’indisiga teng.
Manba axborot ishlab chiqarish imkoniyati:
,
Bu yerda - diskretlash chastotasi.
Agar kvantlash darajasi bir hil ehtimollikka (o’zgarmas, teng qadamlarga) ega bo’lsa manba unumdorligi quyidagicha aniqlanadi:
.
Manba unumdorligi: .