2-мавзу. Шартли энтропия ва бирлашма энтропия. Информациянинг узатиш тезлиги ва алоқа каналининг ўтказиш қобилияти

2-мавзу. Шартли энтропия ва бирлашма энтропия. Информациянинг узатиш тезлиги ва алоқа каналининг ўтказиш қобилияти


Қисқача назарий маълумот

Шартли энтропия информация назариясида кодланувчи алфавит символлари орасидаги ўзаро боғлиқликни аниқлашда, алоқа каналлари бўйича информация узатишдаги йўқотишларни аниқлашда ва бирлашма энтропияни хисоблашда ишлатилади.

Энтропияларни жамлаш қоидасига мувофиқ иккита мазмун жихатидан турли (мустақил) китоблардаги информация миқдори – алохида китоблардаги информация миқдорларининг йиғиндисига тенг. Агар бир китоб иккинчи китобнинг қисмини ўз ичига олса, ушбу икки китобдаги информация миқдори алохида китоблардаги информация миқдорларларининг йиғиндисига тенг бўлмайди, балки ундан кам бўлади. Бу холда информация миқдорини ўлчашда шартли энтропия тушунчасидан фойдаланилади.
Шартли энтропияни хисоблашда “шартли эҳтимолликлар” у ёки бу кўринишда ишлатилади.
Агарn та хабар узатилганида А символи mмарта, В символи l марта, Асимволи В символи билан биргаликда к марта пайдо бўлган бўлса А символнинг пайдо бўлиш эҳтимоллиги ; В символнинг пайдо бўлиш эҳтимоллиги ; А ва В символларнинг биргаликда пайдо бўлиш эҳтимоллиги р ; В символга нисбатан А символнинг пайдо бўлишининг шартли эҳтимоллиги ; А символга нисбатан В символнинг пайдо бўлишининг шартли эҳтимоллиги .
Ушбу ифодалардан фойдаланиб А ва Всимволларнинг биргаликда пайдо бўлиш эҳтимоллигини аниқлаш мумкин.
р(АВ)=р(А)р(А/В)=р(А)р(В/А)
Эҳтимолликлар шартли бўлгани сабабли, шартли энтропия қуйидагича ёзилади:


бу ерда iиндекс А хабар манбаининг ихтиёрий холатини тавсифлаш учун,j индекси В адресатнинг ихтиёрий холатини тавсифлаш учун танланган.
Бирлашма энтропиястатистик боғланган хабарларнинг биргаликда пайдо бўлиш энтропиясини ҳисоблашда ишлатилади. Масалан, халалли алоқа канали бўйича 5 рақамини юз марта узатиш натижасида 5 рақами 90марта, 6 рақами 8 марта, 4 рақами 2 марта қабул қилинди.