1. Informatika informatsion jarayon ma’lumot axborot bilim va axborot resursi tushunchalari 2

O'lchov haqida ma'lumot
Fizika kursidan bilasizki, har qanday fizik kattalikning qiymatini o'lchashdan oldin siz o'lchov birligiga kirishingiz kerak. Axborot ham shunday birlikka ega - biroz, lekin uning ma'nosi "axborot" tushunchasini ta'riflashga har xil yondashuvlar uchun turlicha.
Axborotni o'lchash muammosiga bir necha xil yondashuvlar mavjud.
Axborot entropiyasi - ma'lum bir tizimning noaniqligi yoki oldindan aytib bo'lmaydiganligi o'lchovi (statistik fizika yoki axborot nazariyasida), xususan, birlamchi alfavitning biron bir ramzi ko'rinishining noaniqligi. Ikkinchi holda, axborot yo'qotishlari bo'lmagan taqdirda, entropiya son jihatdan uzatiladigan xabarning har bir belgisiga to'g'ri keladigan ma'lumot miqdoriga teng bo'ladi.
Masalan, rus tilida gapni tashkil etadigan harflar ketma-ketligida har xil harflar har xil chastotalarda paydo bo'ladi, shuning uchun ba'zi harflar uchun tashqi ko'rinishning noaniqligi boshqalarga qaraganda kamroq. Agar ba'zi bir harflar kombinatsiyasini hisobga olsak (bu holda ular entropiya haqida gapirishadi) n (\\displaystyle n)- tartib, qarang) juda kam uchraydi, keyin noaniqlik yanada pasayadi.
Axborot entropiyasi tushunchasini Maksvellning jinlari yordamida tasvirlash mumkin. Axborot va entropiya tushunchalari bir-biri bilan chuqur bog'langan [qanday?], ammo shunga qaramay, statistik mexanika va axborot nazariyasidagi nazariyalarning rivojlanishi ularni bir-biriga mos kelishi uchun ko'p yillar davom etdi.
Entropiya bu statistik jihatdan mustaqil xabarlarni hosil qiladigan manbaning bitta elementar xabariga to'g'ri keladigan ma'lumot miqdori.