Kompyuterlar va ular qanday ishlashini ko'rib chiqib, endi axborotni namoyish qilish masalasini ko'rib chiqamiz: kompyuterlar biz qayta ishlashni istagan ma'lumotlarni qanday aks ettiradi

M \u003d a n. (2.1)
Ushbu qurilmada yozib olinadigan eng katta raqamlar N:
N \u003d a n.
Ushbu ifoda logarifmini olish va undan ifodalash n biz olamiz:
n\u003d ln N / ln a.
(2.1) ifodani shaklga o'tkazish
M= a ∙ln N / ln a(2.2)
logarifmlarning qaysi asosda ekanligini aniqlash mumkin aelementlarning miqdori Mma'lum bir narsa uchun minimal bo'ladi N... Tomonidan farqlanadi afunktsiya M \u003d f (a)va uning hosilasini nolga tenglashtirsak:
Shubhasiz, har qanday cheklangan uchun a
ln N / ln 2 a ≠ 0
va shuning uchun
ln a -1 = 0,
qayerdan a \u003d e ≈ 2.7.
Radiks faqat butun son bo'lishi mumkin ekan, u holda va2 yoki 3 ga teng tanlangan. Masalan, saqlash moslamasining maksimal hajmini belgilaylik N\u003d 10 6 ta raqam. Keyin, sanoq tizimlarining turli asoslari uchun ( va) elementlarning miqdori ( M) bunday saqlash moslamasida (2.2) ifodaga muvofiq quyidagilar bo'ladi (2.1-jadval):
2.1-jadval.

va
M	39,2	38,2	39,2	42,9		91,2

Shuning uchun, agar biz uskunalar miqdorini minimallashtirishdan boshlasak, unda eng foydali bu parametrga yaqin bo'lgan ikkilik, uchlik va to'rtlamchi sanoq tizimlari bo'ladi. Ammo ikkilik sanoq tizimida ishlaydigan qurilmalarning texnik tatbiqi ancha soddalashtirilganligi sababli, raqamli kodlashda eng keng tarqalgani asosiy 2 sanoq tizimiga asoslangan kodlardir.
Turli xil ma'lumot manbalarini, shuningdek, uzatish kanallarini tahlil qilish uchun bizda xabar tarkibidagi va signal orqali olib boriladigan ma'lumotlarning miqdorini taxmin qilish imkonini beradigan miqdoriy o'lchov bo'lishi kerak. Ushbu chora 1946 yilda amerikalik olim K. Shannon tomonidan kiritilgan.
Bundan tashqari, ma'lumot manbai diskret deb hisoblanadi, elementar xabarlarning ketma-ketligini (i,) chiqaradi, ularning har biri diskret ansambl (alifbo) dan tanlangan a, a 2, ..., d A; ga axborot manbasining alifbo hajmi.
Har bir elementar xabarda ko'rib chiqilayotgan ma'lumot manbai holati to'g'risida ma'lum ma'lumotlar to'plami (ko'rib chiqilgan misolda) mavjud. Ushbu ma'lumot o'lchovini aniqlash uchun uning semantik mazmuni, shuningdek ushbu ma'lumotni qabul qiluvchisi uchun ahamiyati darajasi muhim emas. E'tibor bering, xabarni qabul qilishdan oldin, qabul qiluvchida har doim men qaysi xabar ekanligim to'g'risida noaniqlik bor. barcha mumkin bo'lgan narsalardan unga uzatiladi. Ushbu noaniqlik i, xabarni uzatilishining oldingi P (i,) ehtimoli yordamida baholanadi. Xulosa qilamizki, diskret manbaning elementar xabarida mavjud bo'lgan ma'lumotlarning ob'ektiv miqdoriy o'lchovi berilgan xabarni tanlash ehtimoli bilan belgilanadi va shu murakkablikning funktsiyasi sifatida cc ni aniqlaydi. Xuddi shu funktsiya diskret manbaning holati to'g'risida ma'lumot oluvchida mavjud bo'lgan noaniqlik darajasini tavsiflaydi. Xulosa qilish mumkinki, kutilayotgan ma'lumotlarga nisbatan noaniqlik darajasi axborot uzatish kanallariga talablarni belgilaydi.
Umuman olganda, ehtimollik P (a,) ba'zi bir boshlang'ich xabarlarni i tomonidan tanlash (bundan keyin biz uni belgi deb ataymiz) oldindan tanlangan belgilarga bog'liq, ya'ni. shartli ehtimollikdir va bunday tanlovning oldingi ehtimoli bilan mos kelmaydi.
tim bu ^ P (a :) \u003d 1, chunki men borligim uchun to'liq voqealar guruhini tuzaman
gii), va ushbu belgilarni tanlash ba'zi bir funktsional bog'liqlik yordamida amalga oshiriladi J (a,) \u003d R (a,) \u003d 1, agar manba tomonidan belgini tanlash apriori aniqlangan bo'lsa, J (a,) \u003d a „a P (a t, a) - bunday tanlovning ehtimoli, keyin bir juft belgilar tarkibidagi ma'lumotlarning miqdori I va I belgilarining har biridagi ma'lumotlar miqdori yig'indisiga teng, ma'lumotlarning miqdoriy o'lchovining Ego xususiyati qo'shilish deb ataladi.
Biz buni taxmin qilamiz P (a,) - oldingi belgidan keyin i belgisini tanlashning shartli ehtimoli va P (a, , i,) - i belgisini tanlashning shartli ehtimoli; mendan keyin va oldingilarning hammasi, va buni hisobga olgan holda P (a 1, a 1) \u003d P (a) P (i, | i y), qo'shilish sharti yozilishi mumkin
Keling, yozuvni tanishtiramiz P (a) = P n P (ar) \u003d Q va shartni qayta yozing (5.1):
Biz bunga ishonamiz P, O * 0. (5.2) ifodadan foydalanib, funktsiya shaklini aniqlaymiz (p.) (R). Differentsiatsiyani, ko'paytirishni amalga oshirdi R * 0 va belgilash RO = R, yozing
Shuni e'tiborga olingki, (5.3) munosabat har qanday narsa uchun qondiriladi R Φ O va ^^ O. Biroq, bu talab (5.3) -ning o'ng va chap tomonlari barqarorligiga olib keladi: Pq\u003e "(P) \u003d Ap "(/?) - ga - konst. Keyin biz tenglamaga kelamiz Rc\u003e "(R) = TO va integratsiyadan keyin biz olamiz
Qayta yozishni hisobga olamiz
Binobarin, J (a,) xossalari bo'yicha ikkita shart bajarilganda, funktsional bog'liqlikning shakli aniqlandi J (a,) ramzni tanlash ehtimoli to'g'risida da doimiy koeffitsientga to'g'ri keladi TOnoyob tarzda aniqlangan
Koeffitsient TO faqat miqyosga ta'sir qiladi va ma'lumot miqdorini o'lchash birliklari tizimini aniqlaydi. 1n dan [P] F 0, keyin tanlash mantiqan to'g'ri keladi Ma'lumotlar miqdori o'lchovi uchun Osga J (a) ijobiy edi.
Asrab olgan K \u003d -1, biz yozamiz
Shundan kelib chiqadiki, ma'lumot miqdori birligi voqea sodir bo'lganligi haqidagi ma'lumotga teng, uning ehtimoli Men. Bunday ma'lumot birligi tabiiy birlik deb ataladi. Odatda ko'proq ishoniladi TO \u003d -, keyin
Shunday qilib, biz ikkita bir xil ehtimoliy hodisalardan biri sodir bo'lishi to'g'risida xabarni o'z ichiga olgan va "bit" deb nomlangan ma'lumotlarning ikkilik birligiga keldik. Ushbu birlik aloqa texnologiyasida ikkilik kodlardan foydalanish tufayli keng tarqalgan. Logarifma asosini umumiy holatda tanlash, biz olamiz
bu erda logaritma ixtiyoriy asos bilan bo'lishi mumkin.
Axborotning miqdoriy o'lchovining qo'shilish xususiyati (5.9) ifodaga asoslangan holda, belgilar ketma-ketligidan iborat xabardagi ma'lumot miqdorini aniqlashga imkon beradi. Manbaning bunday ketma-ketlikni tanlash ehtimoli ilgari mavjud bo'lgan barcha xabarlarni hisobga olgan holda olinadi.
Boshlang'ich xabarda joylashgan ma'lumotlarning miqdoriy o'lchovi (,, ma'lumotlarning o'rtacha miqdori haqida ma'lumot bermaydi J (A), bitta elementar xabar tanlanganda manba tomonidan beriladi a d
Axborotning o'rtacha miqdori umuman ma'lumot manbasini tavsiflaydi va aloqa tizimlarining eng muhim xususiyatlaridan biridir.
Keling, alfavit bilan mustaqil xabarlarning diskret manbai uchun ushbu xususiyatni aniqlaylik TO. Keling, belgilaymiz ON) bir belgi bo'yicha o'rtacha ma'lumot miqdori va bu tasodifiy o'zgaruvchining matematik kutilishi bo'lgan L - tasodifiy tanlangan belgidagi ma'lumotlar miqdori va
Bir belgi bo'yicha o'rtacha ma'lumot miqdori mustaqil xabarlar manbasining entropiyasi deb ataladi. Entropiya - keyingi belgini tanlashda o'rtacha oldingi noaniqlik ko'rsatkichi.
(5.10) ifodadan, ehtimollardan biri bo'lsa, shunday bo'ladi P (a) biriga teng (demak, qolganlarning barchasi nolga teng), axborot manbasining entropiyasi nolga teng bo'ladi - xabar to'liq aniqlangan.
Barcha mumkin bo'lgan belgilarning oldingi ehtimolliklari teng bo'lsa, entropiya maksimal bo'ladi TO, ya'ni P (a () = 1 / TO, keyin
Agar manba P, \u003d ehtimolliklarga ega bo'lgan ikkilik belgilarni mustaqil ravishda tanlasa P (a x) va R 2 \u003d 1 - R bo'lsa, unda har bir belgi uchun entropiya bo'ladi
Shakl. 16.1, ikkilik manbaning entropiyasining ikkita ikkilik belgilaridan birini tanlashning oldingi ehtimolligiga bog'liqligini ko'rsatadi, shuningdek, bu rasmdan ko'rinib turibdiki, entropiya maksimal R, \u003d R 2 = 0,5
1 taxminan 1 dd - va ikkilik birliklarda log 2 2 \u003d 1-

Shakl: 5.1. Entropiyaga bog'liqlik K \u003d 2 ulardan birini tanlash ehtimoli to'g'risida
Belgilarning teng darajada tanlangan, ammo alfavitlari har xil bo'lgan manbalarning entropiyasi To, o'sishi bilan logaritmik ravishda ortadi TO.
Agar belgilarni tanlash ehtimoli boshqacha bo'lsa, unda manbaning entropiyasi kamayadi Men (A) mumkin bo'lgan maksimalga nisbatan H (A) psh \u003d jurnal TO.
Belgilar o'rtasidagi o'zaro bog'liqlik qanchalik katta bo'lsa, keyingi belgilarni tanlash erkinligi va yangi tanlangan belgi shunchalik kam ma'lumotga ega bo'ladi. Bu shartli taqsimotning noaniqligi ularning shartsiz taqsimotining entropiyasidan oshib ketmasligi bilan bog'liq. Xotira va alifbo bilan manbaning entropiyasini belgilaymiz TO orqali H (AA "), va manbaning entropiyasi xotirasiz, lekin bir xil alfavit bilan - orqali ON) va tengsizlikni isbotlang
Notation bilan tanishish P (aa ") a, (/ belgisini tanlashning shartli ehtimoli uchun = 1, 2, To) belgisi oldindan tanlangan bo'lishi sharti bilan ajij =1,2,To) va o'zgarishlarni qoldirib, dalilsiz yozamiz


bu tengsizlikni isbotlaydi (5.13).
(5.13) yoki (5.14) -dagi tenglikka qachon erishiladi
Bu shuni anglatadiki, ramzni tanlashning shartli ehtimoli uni tanlashning shartsiz ehtimolligiga tengdir, uni faqat xotirasiz manbalarda topish mumkin.
Rus tilidagi matn entropiyasi har bir belgi uchun 1,5 ikkilik birlikni tashkil etishi qiziq. Shu bilan bir xil alifbo bilan K \u003d Mustaqil va jihozlanadigan belgilar sharti bilan 32 H (A) tp \u003d Har bir belgi uchun 5 ta ikkilik. Shunday qilib, ichki aloqalarning mavjudligi entropiyani taxminan 3,3 baravar kamaytirdi.
Diskret manbaning muhim xarakteristikasi uning ortiqcha bo'lishi p va:
Axborot manbasining ortiqcha bo'lishi - bu chegarasiz o'lchovdir. Tabiiyki, ortiqcha bo'lmaganda, p u \u003d 0.
Belgilar o'rtasidagi o'zaro bog'liqlik bo'lmagan manbadan ma'lum miqdordagi ma'lumotni barcha belgilarning teng ehtimolligi bilan uzatish uchun minimal belgilar soni / 7 min talab qilinadi: / r 0 (/ 7 0 R (A max)). Bir xil miqdordagi ma'lumotni entropiya bilan manbadan uzatish uchun (belgilar bir-biriga bog'langan va tengsiz) o'rtacha belgilar soni talab qilinadi n \u003d n „H (A) m JH (A).
Diskret manba, shuningdek, vaqt birligi v H uchun belgilar soni bilan belgilanadigan ishlash bilan tavsiflanadi:
Agar ishlash bo'lsa Men (A) ikkilik birliklarda va vaqtni soniyalarda belgilang, keyin ON) - bu soniyadagi ikkilik birliklarning soni. Uzoq uzunlikdagi belgilarning statsionar ketma-ketligini ishlab chiqaruvchi diskret manbalar uchun /? Tushunchalari kiritildi: barcha uzunlik ketma-ketliklari manba belgilarining tipik va atipik ketma-ketliklari p. Barcha odatiy ketma-ketliklar N lMl (A) manba at p - »oo taxminan bir xil yuzaga kelish ehtimoli bor
Barcha atipik ketma-ketliklarning paydo bo'lishining umumiy ehtimoli nolga intiladi. Tenglikka (5.11) muvofiq, odatdagi ketma-ketliklar ehtimoli mavjudligini nazarda tutadi / N rm (A), manba entropiyasi logN TIin (, 4) va keyin
Diskret shovqinli kanal orqali ma'lumot uzatish miqdori va tezligini ko'rib chiqing. Ilgari biz diskret manba tomonidan berilgan (i,) belgilar ketma-ketligi ko'rinishidagi ma'lumotlarni ko'rib chiqdik.
Endi manba ma'lumotlari kodlangan va kod belgilarining ketma-ketligini ifodalaydi (B, (/ = 1,2, .. t -kod bazasi), diskret ma'lumot uzatish kanaliga mos keladi, natijada simvollar ketma-ketligi

Kodlash operatsiyasi birma-bir - belgilar ketma-ketligi bo'yicha amalga oshiriladi deb o'ylaymiz (B,) ketma-ketlikni (i,) aniq tiklash mumkin, ya'ni. kod belgilari bilan siz manba ma'lumotlarini to'liq tiklashingiz mumkin.
Ammo, agar siz qochish belgilarini ko'rib chiqsangiz |?. j va kirish belgilari (/\u003e,), keyin axborot uzatish kanalida shovqin mavjudligi sababli tiklash mumkin emas. Chiqish ketma-ketligining entropiyasi // (/?)
kirish ketma-ketligining entropiyasidan kattaroq bo'lishi mumkin H (B.), ammo qabul qiluvchi uchun ma'lumot miqdori oshmagan.
Eng yaxshi holatda, kirish va chiqishning birma-bir nisbati mumkin va foydali ma'lumotlar yo'qolmaydi; eng yomon holatda, axborot uzatish kanalining chiqish belgilaridan kirish belgilari haqida hech narsa deyish mumkin emas, ya'ni. foydali ma'lumotlar kanalda to'liq yo'qoladi.
Keling, shovqinli kanaldagi ma'lumotlarning yo'qolishini va shovqinli kanal orqali uzatiladigan ma'lumotlarning miqdorini taxmin qilaylik. Belgilangan belgi bilan, agar u qabul qilingan bo'lsa, u to'g'ri qabul qilingan deb hisoblaymiz 6
belgi bj bir xil raqam bilan (/ \u003d j). Keyin shovqinsiz ideal kanal uchun quyidagilarni yozamiz:

Belgiga ko'ra bj- tengsizliklar sababli kanal chiqishi paytida (5.21)
noaniqlik muqarrar. Belgidagi ma'lumotlar taxmin qilishimiz mumkin b i to'liq uzatilmaydi va uning bir qismi shovqin tufayli kanalda yo'qoladi. Axborotning miqdoriy o'lchovi kontseptsiyasiga asoslanib, ft belgisini olganidan keyin kanal chiqishda paydo bo'ladigan noaniqlikning sonli ifodasi; :
va u uzatish paytida kanalda yo'qolgan ma'lumot miqdorini aniqlaydi.
Ftni aniqlash va barcha mumkin bo'lgan belgilar bo'yicha o'rtacha (5.22), biz summani olamiz
belgini qabul qilishda elementar belgini xotirasiz kanal orqali uzatishda kanalda yo'qolgan ma'lumot miqdorini aniqlash bj (t).
(5.23) yig'indisini butun fut bo'yicha o'rtacha hisoblab, biz Z qiymatini olamiz?), Biz buni belgilaymiz n (w / b-) U bitta belgini xotirasiz kanal orqali uzatishda yo'qolgan ma'lumot miqdorini aniqlaydi:


qaerda P ^ bjbjj - uzatilishdagi hodisaning birgalikdagi ehtimoli
belgi B. u belgini qabul qiladi b t.