Ma'lumotlarni uzatish tizimlarini qurilish prinsiplari

Axborotning miqdoriy o'lchovi
Axborotning miqdoriy o'lchovi Klod Shennon tomonidan kiritilgan.
₁ , x _{2 ,} elementlaridan tashkil topgan X xabari bo'lsin . , x _n . Har biriga
₁ ), p (x ₂ ) , paydo bo'lish ehtimoliga mos keladi . , p( _xn ).
Da bino miqdoriy chora-tadbirlar Shennon edi ishlatilgan fon elementdagi ma'lumotlar miqdori ushbu elementning paydo bo'lish ehtimoliga teskari proportsionaldir; bular.
I(x _i ) = 1/p(x _i ) , (1)
Bu yerda I(x _{i ) - x i} elementdagi axborot miqdori, p(x _{i ) esa x i} elementining paydo bo‘lish ehtimoli .
Biroq, bu yondashuvning kamchiliklari bor: p(x _i ) =1 bo'lganda, I(x _i ) = 1, lekin u I(x _i ) = 0 bo'lishi kerak.
Ikki element bilan x _i va x _j , I(x _i , x _j ) = I(x _i ) I(x _j ) va u I(x _i ,x _j ) = I(x _i ) + I( boʻlishi kerak. x _j ), ya'ni. axborot miqdorining qo'shilish qonuni buzilgan.
Logarifmik o'lchov bu ikki kamchilikdan xoli. Shuning uchun I(x _i ) = jurnal 1/p(x _i ). (2)
Bunday yondashuv bilan p(x _i ) =1 , I(x _i ) = 0.
x _i , x _j , I(x _i ,x _j )=log 1/p(x _i ) p(x _j )=log 1/p(x _i )+log1/p(x _j )=I(x _{i )} )+I(x _j ).
(2) ga muvofiq axborotning o'lchov birliklari logarifm asosiga bog'liq: lg - [dit], ln - [nit], lb - [bit].
Formula (2) bitta elementdagi ma'lumotlar miqdorini belgilaydi. O'rtachani aniqlash uchun miqdori ma `lumot manba kerak aniqlash o'rtacha yoqilgan hamma elementlar, ularning paydo bo'lish ehtimolini hisobga olgan holda, bular.



I ( X )  _ p ( x _i ) men ( x _i ) 
i = 1

 _ p ( x _i ) jurnali
i = 1
n
_1 _
p ( x _i )
. (3)

  _ p ( x _i ) log p ( x _i )
i = 1
Formula (3) xabardagi ma'lumotlarning o'rtacha miqdorini ifodalaydi.
Entropiya xabarning noaniqligi o'lchovi sifatida
Xabarni uzatish natijasida ma'lumot olishning zaruriy sharti qaysi xabarning uzatilishining noaniqligidir.
Bunday holda, xabarlarni uzatish natijasida olingan ma'lumotlarning miqdori qanchalik ko'p bo'lsa, uzatishdan oldin noaniqlik shunchalik katta bo'ladi.
Ma'lumot olish mexanizmini ko'rib chiqing:
OLDINDAN NOANIQLIKNI KEYIN O'TKAZISh MA'LUMOTNI O'TKAZISh
Shunday qilib, Shennonning noaniqligi entropiyadir. H. H(x _i ) = bilan belgilanadi log 1/p(x _i ). (4)
n

H ( X )   _
i = 1
p ( x _i ) jurnal
^{p ( x i )} . (5)

Entropiya va ma'lumot uchun formulalar bir xil, ammo ma'nosi boshqacha. Entropiya aprior xususiyat (uzatishdan oldin), axborot posteriori xususiyat (uzatishdan keyin).
Agar biz ma'lumotlarni yo'qotishsiz uzatishni hisobga olsak, unda biz bor
OLDINDAN ENTROPIYA HAQIDA MA'LUMOT GEAR H(X) 0
KEYIN TRANSFERLAR 0 I(X)=H(X)
Axborotni kodlash sifati entropiya bilan belgilanadi:
H(X) _max - kodlashning eng yaxshi usuli; H(X) _min - eng yomon holatlarni kodlash.
Aytaylik, ma'lumot ikki usulda kodlangan:
H ₁ (X) = 5 bit/belgi; H ₂ (X) = 2 bit/belgi. Birinchi kodlash usuli yaxshiroq.
Optimal kodlash har bir elementning entropiyasini oshirishga qaratilgan bo'lishi kerak.