2-мавзу. Шартли энтропия ва бирлашма энтропия. Информациянинг узатиш тезлиги ва алоқа каналининг ўтказиш қобилияти

5рақами узатилганида 5-4, 5-5, 5-6 комбинацияларнинг пайдо бўлишининг ноаниқлигини бирлашма энтропия ёрдамида тавсифлаш мумкин. Н(А,В) – А символ узатилганида В символ қабул қилинишининг ноаниқлиги. Узатилган А хабарларнинг ва қабул қилинган В хабарларнинг ансамбллари учун бирлашма энтропия қуйидаги йиғинди кўринишига эга:

Бирлашма энтропия ва шартли энтропия ўзаро қуйидаги муносабат орқали боғланган.
H(A,B)=H(A)+H(B/A)=H(B)+H(A/B),
H(B/A)=H(A,B)-H(A); H(A/B)=H(A,B)-H(B)
2.1- мисол. Тажрибадан маълум бўлдики, узунлиги 5 та символдан иборат ҳар бир 100 та хабар узатилганида А символ 50марта, В символ 30марта, Всимволи А символи билан биргаликда 10марта учрайди. Н(А/В) ва Н(В/А) шартли энтропиялар аниқлансин.
Ечиш. Узатилган символларнинг умумий сони
n = 100 * 5 = 500.
Асимволнинг пайдо бўлиш эхтимоллиги

Всимволнинг пайдо бўлиш эхтимоллиги

А ва Всимволларнинг биргаликда пайдо бўлиш эхтимоллиги

В символга нисбатан А символнинг пайдо бўлишининг шартли эхтимоллиги

А символга нисбатан Всимволнинг пайдо бўлишининг шартли эхтимоллиги

В символга нисбатан А символнинг шартли энтропияси



А символга нисбатан В символнинг шартли энтропияси

2.2-мисол. Матнли хабарлар узатилганда статистик кузатишлар натижасида маълум бўлдики, 6 та харфдан иборат сўзларда ҳар бир 100 та хабарда А харфи 80 марта, В харфи 50 марта, А ва В харфлар биргаликда 10марта учрайди. Н(А/В) ва Н(В/А) шартли энтропиялар аниқлансин.
2.3-мисол. Биринчи саватда иккита олма ва битта нок, иккинчи саватда учта олма ва битта нок, учинчи саватда иккита олма ва иккита нок бор. Ихтиёрий саватда олмани тахминан олиниши имкониятининг тўлиқ шартли энтропияси аниқлансин.