2-мавзу. Шартли энтропия ва бирлашма энтропия. Информациянинг узатиш тезлиги ва алоқа каналининг ўтказиш қобилияти

2.4- мисол. Хабарлар иккили код ёрдамида узатилади. Биринчи холда 0ва 1 нинг пайдо бўлиш эхтимоллиги мос холда р₀ = 0,8вар₁ = 0,2. Алоқа каналида халаллар йўқ, яъни 0 ни 1 га ва 1 ни 0 га ўтишларнинг шартли эхтимолликлари нолга тенг. Иккинчи холда символлар тенг эхтимолликлар р₀ = р₁ = 0,5 билан узатилади, аммо халаллар таъсири натижасида ўтишларнинг эхтимолликлари
р(1/1) = 0,8; р(1/0) = 0,2; р(0/0) = 0,8; р(0/1) = 0,2.
Биринчи ва иккинчи холлардаги хабарлар энтропияси аниқлансин.


Информацияни узатиш тезлиги ва алоқа каналининг ўтказиш қобилияти.Халаллар йўқлиги шароитида информацияни узатиш тезлиги вақт бирлигида хабар символи элтадиган информация миқдори орқали аниқланади.

бу ерда n – вақт бирлигида хабарлар манбаида шаклланувчи символлар сони; H – ушбу манбада шаклланган хабарларнинг битта символи олинганида бартараф этилувчи энтропия(ноаниқлик).
Иккилик символлар учун информацияни узатиш тезлигини қуйидагича ифодалаш мумкин.

бу ерда – битта иккилик символни узатиш вақти.
Информацияни узатиш тезлиги доимо бирламчи алфавитга нисбатан аниқланади ва фақат унинг энтропиясига боғлиқ, сигналниузатиш тезлиги эса иккиламчи алфавитга нисбатан аниқланади. Демак, информацияни узатиш тезлиги хабарлар манбаининг информацион характеристикаларига боғлиқ, сигналларни узатиш тезлиги эса аппаратуранинг тезкорлигига боғлиқ. Сигналларни узатиш тезлиги қуйидаги ифода бўйича ҳисобланади.

бу ерда иккиламчи алфавитнинг битта символини узатиш вақти.
Эхтимолликлари тенг ўзаро боғланмаган давомлилиги тенг символлардан тузилган хабарлар учун информацияни узатиш тезлиги

Эхтимолликлари тенг бўлмаган, давомлилиги тенг символлар учун информацияни узатиш тезлиги

Эхтимолликлари тенг бўлмаган ва ўзаро боғланган давомлилиги тенг символлар учун информацияни узатиш тезлиги

Алоқа каналининг ўтказиш қобилиятиушбу алоқа канали бўйича информацияни узатишнинг максимал тезлиги орқали аниқланади

Иккилик код учун

Халаллар мавжудлигида алоқа каналининг ўтказиш қобилияти бир секундда қабул қилинган символлар сонини хабарлар манбаи энтропиясидан хабарлар манбаининг қабул қилинган сигналларга нисбатан шартли энтропиясини айирмасига кўпайтириш сифатида ҳисобланади.

ёки

Умумий холда