Axborot va kodlash nazariyasi asoslari

Simvollari paydo bo‘lishining ehtimoli bir xil bo‘lgan ma’lumotlarni samarali kodlash. Samarali kodlash shovqinsiz aloqa kanallarida qo‘llaniladi. Bunda kanallarda asosiy masala – maksimal axborot uzatish tezligini ta’minlash, ya’ni axborot uzatish tezligini aloqa kanalining ma’lumot uzatish imkoniga yetkazish hisoblanadi.

Agar N(x) – birlamchi ma’lumotning entropiyasi bo‘lsa, hamda (x_i) ma’lumotining simvollarini paydo bo‘lish ehtimolligi bir xil va ma’lumot manbai alfavitining hajmi m bo‘lsa, (x_i ) ma’lumotini hohlagan i simvolining paydo bo‘lish ehtimolligi P(x_i) bir xil qiymatga ega bo‘ladi, ya’ni:

P( X _i ) i=1,.., m,
Ma’lumotning entropiyasi (N(x)):

ga teng bo‘ladi.

Agar kodlash uchun k asosli raqamli koddan foydalanilgan bo‘lsa (kod simvollari elementlari alfavitining hajmi k ga teng) va bunda kod simvollari elementlarining entropiyasi (N₁), simvol elementlarining paydo bo‘lish ehtimolligi bir xil va ular o‘zaro mustaqil bo‘lish sharti bajarilganida quyidagi formula orqali hisoblanadi:

H₁ = log₂k .

Bunda samarali kod simvoli elementlarining uzunligi (l_eff.) quyidagi formula yordamida hisoblanishi mumkin:

Bunda m = k ⁿ.

Shovqinsiz aloqa kanallari orqali uzatiladigan ma’lumotlarni samarali kodlashtirish Shennon teoremasiga asoslanadi:

Agar ma’lumot manbaining entropiyasi N [bit/simvol] ga va aloqa kanalining uzatish qobiliyati S [bit/sek] ga (aloqa kanalining uzatish qobiliyati deganda, uning eng maksimal ma’lumot uzatish tezligini ta’minlashi tushuniladi) teng bo‘lsa, har doim shunday kodlash usulini topish mumkinki, kanalda ma’lumot uzatish tezligining o‘rtacha qiymati ushbu formula negizida hisoblangan tezlikga teng bo‘ladi:

[simvol/sek ]

N- ma’lumot manbaning entropiyasi

S- aloqa kanalining uzatish qobiliyati.

E’tiborni teoremaning isbotiga qaratmasdan, uning imkoniyatiga to‘xtalamiz: ushbu teorema kod simvollarining bir xil ehtimol va bir-biriga bog‘liq bo‘lmagan holda kelib tushishini ta’minlaydi, har bir simvol yordamida bir nuqtadan ikkinchisiga uzatilayotgan axborot hajmi log₂ k (bit/element) ga teng bo‘ladi.

Lekin teorema qanday usul asosida samarali kodlash mumkinligi to‘g‘risida hech qanday ko‘rsatma bermaydi.

Keltirilgan xususiyatlarga asoslanib, ma’lumotlarning o‘zaro bog‘liq va o‘zaro bog‘liq bo‘lmagan simvollarini samarali kodlash bo‘yicha bir qator algoritmlar ishlab chiqilgan, ular bugunda ham samarali kodlash jarayonlarida qo‘llaniladi. Algoritmlar ma’lumot manbaida ko‘p qaytariladigan simvollarni eng kichik uzunlikdagi kod kombinatsiyalari bilan kodlashga asoslanadi. Axborotni kamroq bitlarni sarflab uzatish axborotni kodlashtirishning samarali usullarining maqsad va vazifasi hisoblanadi. Axborotni kodlashtirishning samarali usullaridan foydalanilganda kanalning o‘tkazuvchanlik qobiliyatidan samarali foydalanish mumkin.