1. Informatika informatsion jarayon ma’lumot axborot bilim va axborot resursi tushunchalari 2

Entropiya ma'lumot o'lchovi sifatida
E'tibor bering, "axborot" tushunchasi ko'pincha "ma'lumot" deb talqin etiladi va axborot uzatish aloqa yordamida amalga oshiriladi. K. Shennon entropiyani o'lchov sifatida ko'rib chiqdi foydali ma'lumotlar simlar orqali signallarni uzatish jarayonida.
Entropiyani hisoblash uchun Shannon Boltzmann topgan entropiyaning klassik ifodasiga o'xshash tenglamani taklif qildi. Mustaqil tasodifiy hodisa ko'rib chiqiladi x N mumkin bo'lgan holatlar bilan va p i - i holatning ehtimolligi. Keyin voqea entropiyasi x

Ushbu miqdor o'rtacha entropiya deb ham ataladi. Masalan, xabarni tabiiy tilda uzatish haqida gapirishimiz mumkin. Turli xil harflarni uzatishda biz har xil hajmdagi ma'lumotlarni uzatamiz. Har bir harf uchun ma'lumot miqdori ushbu xatni tilda yaratilgan barcha xabarlarda ishlatish chastotasi bilan bog'liq. Biz xatni qanchalik kam uzatsak, shuncha ko'p ma'lumotlarni o'z ichiga oladi.
Miqdor
H i \u003d P i log 2 1 / P i \u003d -P i log 2 P i,
faqat i-e holatini tavsiflovchi xususiy entropiya deb ataladi.



Keling, misollar bilan tushuntiraylik... Agar tanga tashlansa, bosh yoki quyruq tushsa, bu otish natijalari to'g'risida aniq ma'lumot.
Tanga uchun mos keladigan imkoniyatlar soni N \u003d 2 ga teng. Bosh (quyruq) olish ehtimoli 1/2 ga teng.
Zar tashlashda biz ma'lum miqdordagi nuqta haqida ma'lumot olamiz (masalan, uchta). Qo'shimcha ma'lumotni qachon olamiz?
Zar uchun bir xil ehtimoliy imkoniyatlar soni N \u003d 6 ga teng. Uchta zar nuqtasini olish ehtimoli 1/6 ga teng. Entropiya 2,58 ga teng. Kamroq ehtimoliy hodisani amalga oshirish ko'proq ma'lumot beradi. Hodisa haqida xabar olishdan oldin (tanga, zar tashlash) noaniqlik qanchalik katta bo'lsa, xabar olayotganda ko'proq ma'lumot olinadi.
Axborotni miqdoriy ifodalashga bunday yondashish universal emas, chunki qabul qilingan birliklar ma'lumotlarning qiymati va ma'nosi kabi muhim xususiyatlarini hisobga olmaydi. Haqiqiy ob'ektlar to'g'risida ma'lumotning o'ziga xos xususiyatlaridan (ma'nosini, qiymatini) xulosa qilish, keyinchalik ma'lum bo'lganidek, ma'lumotlarning umumiy naqshlarini aniqlashga imkon berdi. Axborot miqdorini o'lchash uchun Shennon tomonidan taklif qilingan birliklar (bitlar) har qanday xabarlarni (o'g'il tug'ilishi, sport musobaqasi natijalari va boshqalarni) baholash uchun javob beradi. Kelgusida uning qiymati va ma'nosini hisobga oladigan ma'lumot miqdorini o'lchash choralarini topishga harakat qilindi. Biroq, universallik darhol yo'qoldi: turli jarayonlar uchun qiymat va ma'no mezonlari har xil. Bundan tashqari, ma'lumotlarning ma'nosi va qiymatining ta'riflari sub'ektivdir va Shannon tomonidan taklif qilingan ma'lumot o'lchovi ob'ektivdir. Masalan, hid hayvon uchun juda ko'p ma'lumotga ega, ammo odam uchun tushunarsizdir. Inson qulog'i ultratovush signallarini sezmaydi, lekin ular delfin uchun juda ko'p ma'lumotlarni olib yurishadi va hokazo. Shuning uchun Shannon tomonidan taklif qilingan ma'lumot o'lchovi axborot iste'molchisining "didi" dan qat'i nazar, barcha turdagi axborot jarayonlarini o'rganishga mos keladi.