1-Laboratoriya ishi Diskret xabar manbalari xarakteristikalarini tadqiq qilish. Ishdan maqsad

1-Laboratoriya ishi
Diskret xabar manbalari xarakteristikalarini tadqiq qilish.
Ishdan maqsad: Diskret manbaning xususiyatlarini o'rganish shakllanishlar va birlamchi kodlashning har xil turlarining ularga ta'sirini o’rganish.

1. 
   Nazariy qisimdan qisqacha ma'lumot.
   

Diskret axborot manbalari deb – jo’natilayotgan xabarlarning aniq ajralib turadigan belgilar bo’lib ular: harflar, raqamlar ketma-ketligidir chekli tartibli to'plamga (alfavit) tegishli (belgilar) bo’ladi.
Аxborot manbai doimiy ravishda (statsionar) xar birining uzunligi nτ₀ bo’lgan N ta turli diskret xabar ishlab chiqaradi. Ularning xar biri axborot manbai chiqishida tasodifiy extimollik p (a_k ), (k=1,2,3,…N ) bilan paydo bo’ladi. Umuman xar bir N ta diskret xabar turli extimollik bilan axborot manbai chiqishida paydo bo’lishi mumkin, ya'ni p(at), р(а2), ... p(aN). Bu ehtimolliklarning yig’indisi bo’ladi. Shuning uchun xar bir diskret xabar yetkazadigan axborot miqdori xam tasodifiy kattalik bo’ladi. Entropiya - axborot miqdorini baxolash uchun qulay tavsif bo’lib, u axborot manbai ishlab chiqarayotgan axborot o’rtacha miqdorini ta'riflaydi. Ushbu axborot o’rtacha miqdorini bitta xabar yetkazadigan axborot o’rtacha matematik miqdori orqali aniqlash qabul qilingan:
(1)
Ushbu (1) ifoda fizika fani termodinamika yo’nalishidagi «entropiya» uchun ifoda bilan bir xil ko’rinishda bo’lib, u termodinamikada tizimning ma'lum bir vaqtda no'malum xolatda bo’lishini anglatadi. H (A) ni ham xabar olinguncha bo’lgan noaniqlik miqdori deb qarash mumkin. Boshqacha qilib aytganda manba ishlab chiqarayotgan xabarning «kutilmaganli k» yoki «avvaldan bashorat qilina olmaslik» miqdoridir. (1) ifoda manba ishlab chiqarayotgan xabarlar uzaro statik bog’liq bo’lmagan holat uchun xaqiqiy xisoblanadi. Masalan, yozuv mashinkasi yoki kompyuter klaviaturasini tartibsiz bosish bunga mos keladi. Aks xolda mashinka yoki kompyuterda ma'lum bir matnni terishdagi diskret elementlar biridan so’ng keyingisi mantiqan bog’langan
holda paydo bo’ladi. Birinchi holda diskret xabar elementlari bir-biriga bog’liq emas - xotirasiz; ikkinchi xolda noaniqlik kamroq yoki tug’ri bashorat qila olish ehtimolligi ko’proq. Natijada entropiya qiymati kamayadi.