1. Ta'rif va misollar

Teorema l .. Har qanday m van lar uchun
s

j (rrt + n) == L k (n) P;cj ( ni \
k=l
i,j E S. ₍₁₎

Isbot. O'tish ehtimolliklari uchun to'la ehtimolliklar fonnulasini qo'llab quyidagi tenglikni olamiz:
./ 1n + n) == P ( Xrn+n == j / Xo == i) ==

8
== _L._..·_..t
P (x_n
== k / x_O
== i]\ · P(x_rn,_rn
== y· / x_O
== i _,


xn. ,
== k) .
(2)

k= l
Markov xossasiga asoslanib,
p (X m+ n = j / Xo = i, Xn = k) = P (Xm+n = j / Xn = k) =
== P ( xm == j / :r ₀ ::::;: k ) == P kj ( m ,)
tenglikni hosil qilamiz. Teorem.a 1 ning isboti oxirgi va (2) tengliklardan kelib chiqadi.
Isbotlangan (1) tenglikni o'tish eht:imolliklari I(olmogorov-Chepmen tenglan1ala1i deb ataladi.
Agar

P(m) ==\^I . i ^.
(rn^' ;⁸⁾
== l^'I j ( m ^' ) ^11S

1
1

deb olsak, Kolmogorov-Chepmen tenglamalarini har qanday •m va n
uchun

P(m + n) == P(n) ·P(m)
matritsalar ko'rinishida yozish n1un1kin.
(3)

Endi J (1) == pJi,
ekanligini hisobga olsak,
P (l) = P = (Pij ): .

Demak, (3) tenglikka ko'ra


P(n) == [P(l)f == pn
(4)

ya'ni n qadarnda o'tish ehtimolliklari
j (n) == P ( xn == j / x₀ == i)
Markov zanjirini aniqlaydigan stoxastik matritsa P ning elementlari Pij lar
orqali topilishi mumkin bo' lar ekan. Bunda (3) va (4) formulalar alohida ahamiyat kasb eta.di.
Aytib o'tilganlardan kelib chiqadiki, Markov zanjirini tashkil
qiladigan { xn,n > 0} tasodifiy miqdorlar ketma-ketligini o'rganishda
manfiy bo'hnagan matritsalar nazariyasi muhim rol o'ynar ekan. Bu fikmi

Markov zanjirlari uchun muhim bo'lgan quyidagi tushunchalar misolida

namoyish qilamiz.

Markov zanjirining i holati ahamiyatga molik bo'lmagan holat deyiladi, agar shunday j holat va t₀ musbat butun son mavjud bo'lib, P;j( to) > O va har qanday t uchun ½i (t) =c O munosabatlar o'rinli bo'lsa.
Aks holda i holat ahamiyatga molik bo'lgan holat deyiladi. Demak, i ahamiyatga molik bo'lmagan ho!at bo'lsa, undan biror j holatga o'tish mumkin, lekin bu j holatdan i ga qaytish mumkin bo'lmaydi. Masalan,
oldingi punktdagi misol 2 da holatlar to'plami (1,2,3) va o'tish

ehtimolliklari matritsasi

1 _{1 -1}
3 _{3 3}

^p --
_{0 -}l ₁
2 ₂

₀ I ₁
2 ₂
bo'lgan Markov zanJin ko' rilgan edi. Bu misolda birinchi holat 1
ahamiyatga molik bo'lmagan, aksincha (2,3) lar ahamiyatga molik bo'lgan
holatlar bo'ladi. Haqiqatan ham, l dan 2 va 3 holatlarga mos ravishda .!. va
3
^.3^{!. ehtimolliklar bilan bir qadamda o' tish mum.kin, lekin ulardan I holatga}
qaytish mumkin emas. Ko'rilayotgan za1zjir qandaydir qadamda (2,3) holatlarga tushganidan so'ng, u bu holatlarda doim qolib ketadi.
Bu hodisani o'rganilayotgan zaajir uchun uning 1 holatda doim qola olmasligi (A hodisaning ehtimolligi O ekanligi) va o'tish ehtimolliklari

matritsasi P da pastki o'ng burchakda

- -
p ¹= 1_{I I} i
2 2

qism stoxastik matritsa borligi tasdiq etadi.

Umumiy holda Markov zanjiri ahamiyatga molik bo'lmagan holatlarda doim qolmasdan, qandaydir chekli qadamda zanjir ahamiyatga _em_do_i.lik holatlarga o'tadi. Bu eslatib o'tilgan misol 2 da namoyish etilgan
Markov zanjiri { xn,n > 0} uchun yechilishi kerak bo'lgan asosiy masalalardan biri, xn tasodifiy miqdoming ixtiyoriy n momentdagi taqsimotini topish hisoblanadi. To'la ehtimol!ik fommlasini qo'llab,

2?7

s s
P(:en == j) == I: P ( Xo == i)P (.xn == j / Xo == i) == Pi j (n) (5)
i=l z= l
tenglikni olamiz. ·
Ba'zi hollarda P (xn == j) taqsimot n ga bog'liq bo'lmasligi
mumkin, ya'ni
Xo' X1. .' . ' Xn' ...
tasodifiy miqdorlar bir xii taqsimlangan bo'lishi murnkin. Shu munosabat bilan statsionar taqsimot tushunchasini kiritan1iz.
Quyidagi shartlami qanoatlantiradigan
q == ( q1 ,··· ,qs )
sonli vektor statsionar ehtimollik taqsimoti deyiladi, agar

s
1) qk > o, k == l, .. ., s,
2) I: qkPkj == qj, j == l, 2, ... , 8 . (6)
k= l
Bu yerda Pij Markov zanjirini aniqlaydigan o' tish ehtimolliklari.
Agar Markov zanjirida boshlang' ich taqsimot
P ( x₀ == j) = pj == q j, j == l, 2, ... , s
bo' lsa, bu holda har qanday n > 0 uchun
p (Xn == j) = q j, j = 1, 2, ... , S • (7)
Haqiqatan ham, Kolmogorov-Chepmen tenglamasini qo'llab, (5) va (6) formulalardan
p (xn ·= j) == I^s: qkPkj (n) == Iⁿ: qk ⁽ I^s: Pki j (n -1)⁾ ==
k=l k=l i=l

== ^sL^{[ s}L qkPki⁾
j (n -1) == ^sLqi j (n -1) =

i=I k=l i=l
s
== ... == LqiPij = qj
i=l
tengliklami olamiz.
Agar (7) tenglik bajarilsa, { xn, n > 0} tasodifiy miqdorlar ketma-
ketligi statsionar Markov zanjiri deb ataladi.

3. O'tish ehtimolliklari uchun limit teorema

O'tish ehtimolliklari matritsasi
p == ( Pi j ):

bo'lgan Markov zanjiri

(1)

berilgan bo'lsin.
Markov zanJtn (1) ergodik xossaga ega deymiz, agar quyidagi
limitlar _r

1m PiJ ⁽ⁿ⁾
n oo
== 1r j, j == l, 2, ..., s

s
mavjud bo'libgina qolmasdan, boshlang'ich holat i ga bog'liq bo'lmagan holda limit qiymatlar (71₁, .•• , 1r₃ ) ehtimollik taqsimotini tashqil qilsa, ya'ni
1rj > o, L 1rj == 1. c2)
j=l
Bu (2) taqsimot- ergodik taqsimot deb ataladi.
Quyidagi teorema ergodik Nlarkov zanjidari yetarli darajada katta sinfni tashkil etishini ifoda etadi.
Teorema (Ergodik teoren1a) Tasodifiy miqdorlar ketma-ketligi (1) holatlar to'plami

S = {1, 2, ..., s}
va o'tish ehtimolliklari n1atritsasi P bo'lgan Markov zanjiri bo'lsin.

1. 
   Agar qandaydir n₀ uchun
   

1 i 1 Pi'i(no) > 0
i,J "

(3)

bo'lsa, shunday 1r₁, ... , n₈ sonlar topiladiki, ular uchun (2) munosabatlar o'rinli bo'lib, har bir j ES va har qanday i C-: S uchun

P^{enij ) ,}
1r _ji
n --a-, oo._{' (4)}

2. 
   Aksincha, agar (2) va (4) munosabatlami qanoatlantiruvchi
   

1r₁, ... , 1r ₈ sonlar n1avjud bo'lsa, (3) tengsizlik o'rinli bo'ladi.

3. 
   (2) va (4) shartlami qanoatlantiruvchi (1r₁, ... , 1r₈ ) sonlar
   

s

7rj == L 1fkPkj, j == 1, ..·, ⁸
k=l
tenglainalar sistemasini yechimi bo' ladi.
Isbot. A) Quyidagi belgilashlami kiritamiz:
mc_n) == min p :1) Mc.n) == max p :1)

z
J ' 'lJ ' J . 'lJ
i
Kolmogorov - Chepmen tenglamasi bo'yicha
(5)

(n+l) _ ^s


(n)
(6)

Pij - L PikP k-'
k=l J
tenglik o' rinli bo' lgani uchun

>
(n+l) _ . (n+l) _ . Ls
mj - m n Pij -:-- min P · , P .

i i
k=l
. 1, /\ kJ

. '°8 ' . (n) .· Cn)
111111 Li Pik · n1 n Pk·j = m₇_

1
.
' k=l
. k<,;;
-·

Demak, mj"l < mt+I) va shuningdek Mt > M n+I)_
Shuning uchun ha1n (4) lin1it munosabatni isbot etish uchun
M\n) - 1nc_n) -t 0, n --1- oo, j == 1, ..., s
J J
ekanligini ko'rsatish yetarli bo'ladi.
Agar

)
E == Il i!1pf/⁰
Z,.J
deb olsak, quyidagi tenglikni yoza olamiz:
^{( n}0 ^{+n ) _ v ( n}0^{) (n) _ (p(no) _ ,_pen>) p(f!')+}
Pij - LtPij Pkj - L ik C Jk kJ

+c""""' pc.n)PC 7!) === [P. (n ⁰)_ €pc_n)

PC ) + Ep(?n)
k k _l

lekin
L Jk 7 L zk yk · kJ 11

k k

va shuning uchun ham
(no+n)> (n)'°'lr· Jno) c . (no)+l


(2n) _

PiJ - mj l-'ik G.Pjk J EPjj -
k
=== m_ Cn ) (1 - c+) EV( n).

Demak,
J J.. J}


m (no +n) > mC.n) (I - c+) cp( n)

Xuddi shunga o'xshash
J - ) \ G v )] •

M(no+n) < JVt .n ) (l - c)+ P ( n)
J - J . -P11
tengsizlikni olamiz.
Oxirgi tengsizliklami birlashtirib,
Mj"'o+n) - mj"'o+n) < (Mt - mt) (1- E)
tengsizlikni hosil qilamiz. Demak, k -t oo da
M(kno+n_) m (kn ⁰ +n) < (M _ C n ) _ m<.n>) (-l _ )k _I O

nh
J .7 - J J E .-J,. •
Shunday qilib, qandaydir qism ketn1a-ketlik bo'yicha

13. 
    ( nfJ)- , (nfJ)
    

Lekin At .n> - , c_n) - • . b ' - · 1 . , ·
_ .7 m/J --r 0, np --r oo.
-- · · .1 m.7 ay1rrna n o y1c 1a n1011oton bo' lgan1 uchun

. ,; ·- 1n. n --r ₀₀ .
_l\({(n ) - (n) 0

• 
  I .7 )