Axborotni kodlash nazariyasining asosiy tushunchalari. Kodlash nazariyasi Kodlash. Asosiy tushunchalar

Ko'pincha, alohida sinf sizni boshlang'ich xabarga qaraganda kichikroq uzunligi bilan qurish kodlarini kichikroq uzunligi bilan ajratishga imkon beradigan alohida sinflar ajratilgan. Bunday kodlash usullari siqilish yoki ma'lumotlarni qadoqlash usullari deb ataladi. Siqish sifati odatda foiz sifatida o'lchanadi va kodlangan xabar manbaga qaraganda foiz qancha foizni ko'rsatadi.

• Ko'pincha, alohida sinf sizni boshlang'ich xabarga qaraganda kichikroq uzunligi bilan qurish kodlarini kichikroq uzunligi bilan ajratishga imkon beradigan alohida sinflar ajratilgan. Bunday kodlash usullari siqilish yoki ma'lumotlarni qadoqlash usullari deb ataladi. Siqish sifati odatda foiz sifatida o'lchanadi va kodlangan xabar manbaga qaraganda foiz qancha foizni ko'rsatadi.
• Kompyuter yordamida ma'lumotni avtomatik ravishda qayta ishlash odatda raqamli (raqamli) kodlash, tabiiyki, ishlatilgan raqam tizimi uchun mantiqiy sabablar soni yuzaga keladi. Darhaqiqat, raqamlar tizimi bazasining pasayishi bilan kod belgilari elementlarining alifbosi soddalashtirilgan, ammo kod belgilari uzaytiriladi. Boshqa tomondan, raqamlar tizimining asosi kattaroq, ozroq bo'shatishlar kiritilishi kerak, shuning uchun uni topshirish uchun kamroq vaqt va kamroq vaqtni, ammo raqamlar tizimining asosini oshirish bilan talablar, talablar, talablar, talablar aloqa kanallari va elementar signallari tan texnik vositalari uchun ancha takomillashtirildi. kodi belgilar turli elementlariga mos. Xususan, ikkilik soni tizimida qayd raqami kodi uzoq o'nlik kodi ortiq taxminan 3,5 barobar o'rtacha hisoblanadi. Barcha axborotni qayta ishlash tizimlari ko'p ma'lumot shaklida, raqamli kod belgilarini tanlashning muhim mezonlarini saqlashi kerak bo'lganligi sababli, elektron elementlar sonini alfavit qilishdir saqlash qurilmalar, shuningdek oson va ishonchliligi.

Anjir. 5.1. Entropiyaning qaramligi K \u003d. 2 Ulardan birini tanlash ehtimoli bo'yicha

Manbaning entopi, belgilarni ekvivalent tanlash, lekin turli xil alifbolar bilan Ga Logarifmik ravishda ko'payib boradi Ga

Agar belgilarni tanlash ehtimoli boshqacha bo'lsa, manbaning tushishi tushadi Va (a) Maksimal maksimal darajada N (a) psh \u003d Jurnal. Ga

Belgilar o'rtasidagi bog'liqlik, keyingi belgilarni tanlash kamroq va kamroq ma'lumot yangi tanlab olish belgisi mavjud. Buning sababi, shartli taqsimotning noaniqligi ularning shartsiz taqsimotining qo'lidan oshmasligi kerakligi bilan bog'liq. Mode va alifbo bilan manbaning entropiyasini anglatadi Ga orqali N (AA »), Va manbaning intapi, lekin shu alifboda - orqali USTIDA) Va biz tengsizlikni isbotlaymiz

Belgilangan belgiga kirish P (AA ") A belgisini tanlashning shartli ehtimolligi uchun (/ = 1, 2, Uchun Belgilangan belgi oldindan tanlangan bo'lsa ayjij. =1,2,Uchun va biron bir dalil o'rnatmasdan o'zgartirish

• Belgilangan belgiga kirish P (AA ") A belgisini tanlashning shartli ehtimolligi uchun (/ = 1, 2, Uchun Belgilangan belgi oldindan tanlangan bo'lsa ayjij. =1,2,Uchun va biron bir dalil o'rnatmasdan o'zgartirish
• bu tengsizlikni tasdiqlaydi (5.13).
• (5.13) yoki (5.14) tenglik amalga oshiriladi
• Bu belgi tanlashning shartli ehtimoli, uni faqat xotirasiz manbalardan bo'lishi mumkin bo'lgan shartsiz ehtimolga tengdir.