|
§1. Entropiya tushunchasi. Entropiya tushunchasining statistik ma'nosi. Entropiya noaniqlik darajasining o'lchovi sifatida
Entropiya (yunoncha entropia - aylanish, o'zgarish) - yirik tizimlar buzilishining o'lchovidir. "Entropiya" tushunchasi birinchi marta 19-asrda kiritilgan. issiqlik mashinalarining ishlashini tahlil qilish natijasida, bunda entropiya energiyaning foydali ish bajarmasdan kosmosda tarqaladigan qismini tavsiflaydi (shuning uchun ta'rif: entropiya energiyaning eskirish o'lchovidir). Keyin entropiya har qanday jismoniy tizimning ko'plab mumkin bo'lgan holatlari orasida ma'lum bir holatining ehtimolini tavsiflashi aniqlandi. Yopiq fizik tizimlarda barcha o'z-o'zidan sodir bo'ladigan jarayonlar ko'proq ehtimoliy holatlarga erishishga, ya'ni maksimal entropiyaga yo'naltirilgan. Muvozanat holatida, bu maksimalga erishilganda, yo'naltirilgan jarayonlar mumkin emas. Shunday qilib, koinotning termal o'limi haqidagi gipoteza paydo bo'ldi. Biroq, yopiq tizimlar uchun o'rnatilgan qonunlarning butun Olamga kengayishi ishonchli ilmiy asosga ega emas. XX asrda. "entropiya" tushunchasi biotizimlarni, shuningdek, ma'lumotlarni uzatish va qayta ishlash jarayonlarini o'rganish uchun samarali bo'ldi. Umuman evolyutsiya va har bir organizmning rivojlanishi biotizimlar ochiq bo'lib, atrofdagi dunyodan energiya bilan oziqlanishi tufayli sodir bo'ladi. Ammo shu bilan birga, bioprotsesslar shunday davom etadiki, ular bilan bog'liq "entropiya ishlab chiqarish" minimal bo'ladi. Bu zamonaviy texnologik jarayonlarni rivojlantirishda, texnik tizimlarni loyihalashda muhim yetakchi tamoyil bo‘lib xizmat qilmoqda. Axborotning miqdoriy o'lchovi rasmiy ravishda "salbiy belgilangan" entropiyaga to'g'ri keladi. Ammo fizik va informatsion entropiya o'rtasidagi muvofiqlikni chuqur tushunish zamonaviy fanning etarlicha o'rganilmagan asosiy muammolaridan biri bo'lib qolmoqda. Uning yechimi yangi ilmiy-texnik tafakkurni shakllantirishning muhim omillaridan biri bo‘lib xizmat qiladi.
Entropiya fanning boshqa sohalarida keng qo'llaniladi: statistik fizikada ma'lum bir makroskopik holatning amalga oshishi ehtimoli o'lchovi sifatida; axborot nazariyasida turli natijalarga olib kelishi mumkin bo'lgan tajriba (test) noaniqligining o'lchovi sifatida. Bu talqinlar chuqur ichki aloqaga ega. Masalan, axborot entropiyasi haqidagi g'oyalar asosida statistik fizikaning barcha eng muhim qoidalarini olish mumkin.
Axborot nazariyasi inson faoliyati jarayonida xabarlarni uzatish va qabul qilishni tavsiflash uchun paydo bo'ldi. Uning barcha vazifalarida uzatuvchi va qabul qiluvchi, signal-xabar, hodisalar va ularning ehtimolliklari tushunchalari mavjud. Axborot nazariyasida axborotni uzatish maqsadining mavjudligi ma'lum berilgan hodisa tushunchasining kiritilishi bilan ifodalanadi. Buning uchun p0 paydo bo'lish ehtimoli xabarni olishdan oldin va p1 xabar olingandan keyin aniqlanishi mumkin.
Maqsadga erishishdagi noaniqlikni bartaraf etish sifatida axborotning ta'rifi tufayli, axborot tushunchasini qat'iy (ya'ni, matematik) rasmiylashtirish maqsadga erishishdagi noaniqlik bo'lgan matematik munosabatni ifodalashni talab qiladi.
Noaniqlikning mavjudligi hodisalarning yuzaga kelishida ehtimolliklarning ishtiroki bilan bog'liq. Noaniqlikni yo'q qilish - bu maqsad sifatida qo'yilgan narsaning yuzaga kelish ehtimolini oshirish. Shuning uchun, ehtimolliklar bartaraf etilgan noaniqlik kattaligini matematik shakllantirishda ishtirok etishi kerak.
Shu asosda ma'lumot ta'rifini amalga oshirishga birinchi muvaffaqiyatli urinish 1928 yilda L. Xartli tomonidan amalga oshirildi. Berilgan sharoitda ba'zi bir natijaning n ta varianti mumkin bo'lsin. Maqsad ulardan biri. Xartli noaniqlikni n sonining logarifmi bilan tavsiflashni taklif qildi. Ya'ni, log n noaniqlikning miqdoriy o'lchovidir. Logarifm asosini tanlash axborotni tavsiflash uchun alifbo tushunchasi bilan bog'liq. Ushbu tanlov texnik qurilmalarda yoki jonli tizimlarda kodlashning samaradorligi (impuls oqimlari yoki analog signallarni kamaytirish) uchun juda muhimdir, ammo o'lchamsiz omil old tomonda kiritilganligi sababli noaniqlikni yo'q qilish uchun ma'lumot miqdorini o'zgartirmaydi. logarifmning asoslari orasidagi o'tish moduli bilan ifodalangan logarifm. Axborot birliklarining nomlari unga bog'liq.
Noaniqlikning matematik tavsifida (masalan, Xartli usulida) teng ehtimolli natijalar bo'lgan taqdirda, ularning soni n dan teskari qiymatga - ulardan birining p ehtimolligiga o'tish mumkin. Aloqa nuqtai nazaridan, xabarni qabul qilishdan oldin qabul qiluvchiga uzatilgan p0 xabari ehtimoli haqida gapiriladi. Noaniqlikni bartaraf etish signalni qabul qilgandan so'ng qabul qiluvchida uzatilgan xabarning ehtimolligi ortib, p1 ga aylanishi bilan ifodalanadi. Keyin olingan ma'lumotlarning miqdoriy o'lchovi (noaniqlik bartaraf etilgan) ehtimollik nisbati logarifmi bilan ifodalanadi:
U har qanday aniq xabarga nisbatan teng va u uchun p0 va p1 qiymatlariga qarab boshqa qiymatga ega. Maxsus holatda, uzatish paytida signalni buzadigan shovqin va nosozliklar bo'lmasa, p0 ehtimoli birga teng.
Ushbu ta'rifning kamchiligi shundaki, u barcha natijalarning teng ehtimolini taxmin qilishda amal qiladi. Bu har doim ham shunday emas. Limitda, bu ta'rifda aql bovar qilmaydigan natija muqarrar bilan tenglashtiriladi. 1948 yilda K. Shennon buni tuzatdi, u ifodani noaniqlik o'lchovi sifatida aniqladi:
Qayerida
individual natijalar ehtimoli bor. U bu atamaning fizikadagi mashhur entropiya bilan bog‘lanish va farqlarini tushuntirmasdan turib, bu qiymatni “entropiya” deb atashni taklif qildi. Oldingi formuladagi minus belgisi ehtimollik har doim birdan kichik ekanligini va entropiya doimiy belgi funktsiyasi ekanligini aks ettiradi, buning uchun odatda ijobiy belgi o'rnatiladi. Shennonning ta'rifi quyidagicha qisqartiriladi:
hodisalar va ularning ehtimolliklari aniqlanadigan belgilar (argumentlar) sezilarli darajada farq qilishi mumkinligini va bu formulada (undagi yig'indi) faqat bir hil belgilar uchun amal qiladi, deb ochiqchasiga nazarda tutadi.
Do'stlaringiz bilan baham: | 
