1. Informatika informatsion jarayon ma’lumot axborot bilim va axborot resursi tushunchalari 2

Entropiya ma'lumot o'lchovi sifatida
E'tibor bering, "axborot" tushunchasi ko'pincha "ma'lumot" deb talqin etiladi va axborot uzatish aloqa yordamida amalga oshiriladi. K. Shennon entropiyani o'lchov sifatida ko'rib chiqdi foydali ma'lumotlar simlar orqali signallarni uzatish jarayonida.
Entropiyani hisoblash uchun Shannon Boltzmann topgan entropiyaning klassik ifodasiga o'xshash tenglamani taklif qildi. Mustaqil tasodifiy hodisa ko'rib chiqiladi x N mumkin bo'lgan holatlar bilan va p i - i holatning ehtimolligi. Keyin voqea entropiyasi x

Ushbu miqdor o'rtacha entropiya deb ham ataladi. Masalan, xabarni tabiiy tilda uzatish haqida gapirishimiz mumkin. Turli xil harflarni uzatishda biz har xil hajmdagi ma'lumotlarni uzatamiz. Har bir harf uchun ma'lumot miqdori ushbu xatni tilda yaratilgan barcha xabarlarda ishlatish chastotasi bilan bog'liq. Biz xatni qanchalik kam uzatsak, shuncha ko'p ma'lumotlarni o'z ichiga oladi.
Miqdor
H i \u003d P i log 2 1 / P i \u003d -P i log 2 P i,
faqat i-e holatini tavsiflovchi xususiy entropiya deb ataladi.