3-bob. Ko'P regressiya

6.2-misol.6.1-misoldagi tahlilchi ko'p regressiya tahlilini o'tkazish uchun 6.2-jadvalni qo'shimcha o'rganishi mumkin. Bog'liq o'zgaruvchi (ishni baholash reytingi) y (yoki x1) o'zgaruvchisidir, chunki u kompyuterga kiritilgan birinchi o'zgaruvchi edi. Korrelyatsiya matritsasi va ikkita tanlov qoidalariga asoslanib, quyidagi bashorat qiluvchi o'zgaruvchilar kombinatsiyalari ko'rib chiqiladi:

1. 
   y (x1) ni x4 tomonidan bashorat qilish kerak. Sababi: x4 barcha to'plangan bashorat qiluvchi o'zgaruvchilarning (r14 =-0,83) bog'liq o'zgaruvchisi bilan eng yuqori korrelyatsiyaga ega va y dispersiyasining 69% ((- 0,83)2) ni tushuntiradi. Ko'pincha oddiy regressiya tahlilini o'tkazish qiziq. eng yaxshi yagona bashoratchidan foydalanish.
   

2. 
   y x3 va x4 tomonidan bashorat qilinmasligi kerak. birga. Sababi: x3 va x4 ikkalasi ham qaram o'zgaruvchi bilan yaxshi korrelyatsiyaga ega bo'lsa ham (rl3 = 0,78 va r14 = - 0,83), ular bir-biri bilan juda yuqori korrelyatsiyaga ega (r34 = -0,89). Multikollinearlik ehtimoli katta, chunki bu ikki o'zgaruvchi bir xil y dispersiyani tushuntiradi. Tahlilchilar multikollinerlik uchun korrelyatsiyani tekshirganda, ular quyidagi asosiy qoidadan foydalanadilar: Ikki bashorat qiluvchi o'zgaruvchi o'rtasidagi korrelyatsiya bashorat qiluvchi o'zgaruvchilar va qaram o'zgaruvchi o'rtasidagi ikkita korrelyatsiyaning eng pastidan ancha past bo'lishi kerak. Bu qoida faqat korrelyatsiya koeffitsientlarining kattaligi uchun amal qiladi va ularning belgilarini e'tiborsiz qoldiradi. Bunday holda, bashorat qiluvchi o'zgaruvchilar o'rtasidagi korrelyatsiya (r34 = - 0,89) belgini e'tiborsiz qoldirib, bog'liq-prediktor o'zgaruvchi korrelyatsiyasining kichikroq qismidan (rl3 = 0,78) oshadi,
   

3. 
   y ni x4 va x5 bilan birgalikda bashorat qilish kerak. Sababi: x4 bog'liq o'zgaruvchi bilan yaxshi korrelyatsiyaga ega (r14 = -0,83), x5 esa adolatli korrelyatsiyaga ega (rl5 =0,65). Biroq, x4 va x5 o'rtasidagi korrelyatsiya past (r45=-0,21), shuning uchun multikollinearlik muammo bo'lmaydi. Ushbu kombinatsiyani tekshirish kerak, chunki har bir bashorat qiluvchi o'zgaruvchi y o'zgaruvchisi o'zgaruvchanligining alohida qismini tushuntiradi va yaxshi bashorat tenglamasi paydo bo'lishi mumkin.
   

4. 
   y ni x3 va x5 bilan birgalikda bashorat qilish kerak. Sabab: x3 va x5 ikkalasi ham y (rl3 = 0,78 va r15 = 0,65) bilan oqilona korrelyatsiyaga ega va past korrelyatsiyaga ega.
   

bir-biriga (r35 =0,17). Ushbu kombinatsiya, shuningdek, multikollinearliksiz yaxshi bashorat qilish tenglamasini ishlab chiqishi kerak.

E'tibor bering, ushbu bashorat qiluvchi o'zgaruvchan kombinatsiyalarning hech biri x2 ni o'z ichiga olmaydi. Bu o'zgaruvchi y (r12 = -0,27) bilan past korrelyatsiyaga ega va shuning uchun yolg'iz yoki har qanday kombinatsiyada ishlatilmaydi.

Belgilangan uchta istiqbolli bashorat qiluvchi o'zgaruvchilar kombinatsiyasi ko'p regressiyani amalga oshiradigan kompyuter dasturi yordamida ishga tushirilishi kerak. Olingan regressiyalar eng yaxshi namunali bashorat tenglamasini topish uchun tahlil qilinishi mumkin. Nihoyat, eng yaxshi namunali tenglama uning y uchun bashorat qilish kuchi populyatsiyada foydalanish uchun etarlicha kuchli yoki yo'qligini aniqlash uchun baholanishi mumkin.

Multikollinearlik mavjud bo'lganda, muammoni qanday jiddiylashtirish mumkin? Aslida, agar tahlilchi regressiya modelidan faqat bashorat qilish uchun foydalanmoqchi bo'lsa, multikollinearlik jiddiy qiyinchiliklarga olib kelmasligi mumkin. Multikollinearlikning salbiy oqibatlari:

1. 
   Regressiya koeffitsientlarining baholari namunadan namunaga sezilarli darajada o'zgarib turadi.
   

2. 
   Bog'liq o'zgaruvchiga ijobiy bog'liq bo'lgan mustaqil o'zgaruvchi, agar u boshqa mustaqil o'zgaruvchiga yuqori darajada bog'liq bo'lsa, salbiy regressiya koeffitsientini keltirib chiqarishi mumkin.
   

3. 
   Ko'p regressiya ko'pincha turli xil mustaqil o'zgaruvchilarning nisbiy ahamiyatini baholash uchun izohlovchi vosita sifatida ishlatiladi. Bashorat qiluvchi o'zgaruvchilar o'zaro bog'liq bo'lsa, ular bog'liq o'zgaruvchini bashorat qilishda bir xil dispersiyani tushuntiradi. Shu sababli, multikollinearlik mavjud bo'lganda, har bir mustaqil o'zgaruvchining individual ta'sirini ajratish qiyin.
   

Kollinearlikni o'lchash usullaridan biri har bir tushuntiruvchi o'zgaruvchi uchun dispersiya inflyatsiya omilidan (VIF) foydalanadi. Bu VIF quyidagicha aniqlanadi

bu erda R2j ifodalaydi the xj tushuntiruvchi o'zgaruvchining boshqa barcha x o'zgaruvchilari bilan ko'p martalik aniqlash koeffitsienti.

Agar faqat ikkita tushuntirish o'zgaruvchisi bo'lsa. R2j shunchaki x1 va x2 o'rtasidagi aniqlanish koeffitsienti. Agar , masalan, uchta tushuntirish bo'lsa

1
o'zgaruvchilar, u holda R 2 x1 ni x2 bilan ko'p marta aniqlash koeffitsienti bo'ladi
va x3.
Agar tushuntirish o'zgaruvchilari to'plami korrelyatsiyasiz bo'lsa, VIFj 1 ga teng bo'ladi.
to'plam yuqori darajada o'zaro bog'liq edi, keyin VIFj hatto 10 dan oshib ketishi mumkin. Ba'zi tadqiqotchilar agar VIFj 10 dan katta bo'lsa, xj o'zgaruvchisi va boshqa izohli o'zgaruvchilar o'rtasida juda ko'p korrelyatsiya borligini ta'kidlamoqda. Biroq, boshqa tadqiqotchilar, agar maksimal VIFj 5 dan oshsa, eng kichik kvadratlar regressiyasiga alternativalardan foydalanadigan konservativ mezonni taklif qilishadi.

7-ma'ruza. The ko'p regressiya tenglamasi.

Aholi ko‘p regressiya modeli yoziladi: y=0+2x2+3x3+...+kxk+

bu erda y - bog'liq o'zgaruvchi , x2, x3, ....., xk - bashorat qiluvchi o'zgaruvchilar, 0,
2,. , k - populyatsiya modelidagi parametrlar,  - tasodifiy xato komponenti .
Regressiya taxminlari. Ko'p regressiya modelining taxminlari oddiy chiziqli regressiya modeliga o'xshash:

1. 
    ning ehtimollik taqsimoti normaldir.
   
2. 
    ning ehtimollik taqsimotining dispersiyasi x ning barcha qiymatlari uchun doimiydir.
   
3. 
    ning ehtimollik taqsimotining o'rtacha qiymati 0 ga teng. Bu faraz x ning berilgan qiymati uchun y ning o'rtacha qiymati E(y)=0 + 2x2+3x3+ ekanligini bildiradi. +kxk.
   
4. 
    ning qiymati bir-biridan mustaqil. Bu taxmin o'lchash uchun ob'ektlarning tasodifiy namunasi tanlanganligini anglatadi.
   

Ko'p regressiya tenglamasi regressiya tekisligiga asoslangan haqiqiy y qiymatlari va ularning taxminlari orasidagi kvadratik masofalarning yig'indisini minimallashtiradi. Boshqacha qilib aytganda, ko'p regressiya tenglamasini ishlab chiqishda (yy^)2 eng kichik kvadratlar protsedurasi bilan minimallashtiriladi. Bu oddiy regressiyada minimallashtirilgan bir xil miqdor. Ko'p regressiyaning farqi shundaki, y ^ qiymatlari bir nechta bashorat qiluvchi o'zgaruvchilar yordamida hisoblanadi. Boshqacha qilib aytganda, har bir y ^ ni hisoblash uchun ikki yoki undan ortiq bashorat qiluvchi o'zgaruvchan qiymat ma'lum bo'lishi va bashorat tenglamasida ishlatilishi kerak.

Odatda, 0, 2,......, k va  regressiya parametrlarining aniq qiymatlari aslida ma’lum emas, lekin ular namunaviy ma’lumotlar asosida baholanishi kerak. Namuna ma'lumotlaridan parametrlarning taxminlari topiladi va namunaviy regressiya giperplani deb ataladigan ma'lumotlar nuqtalari to'plamiga eng mos keladigan giperplan aniqlanadi.

Regressiya tenglamasi namunasi

y^ = b0+ b2x2 + b3x3 +… + bkxk

Bu erda y^ - bog'liq o'zgaruvchining taxminiy qiymati, x2,x3,…,xk - bashorat qiluvchi o'zgaruvchilar , bo, b2, b3,… bk - 0, 2, ning tanlanma baholari. , k.
Oddiy regressiya modelida bo'lgani kabi, bir vaqtning o'zida chiziqli tenglamalar to'plamiga yechim sifatida b0, b2, b3,... bk tanlanma baholari olinadi. Bularni kompyuter dasturidan foydalanmasdan hal qilish qiyin. Shu sababli, ushbu matnning qolgan qismida bir nechta regressiya mashqlarini hal qilish uchun kompyuter dasturlari qo'llaniladi.

Agar ko'p regressiyada ikkita bashorat qiluvchi o'zgaruvchi ishlatilsa, tenglama y-kesishma va ikkita regressiya koeffitsientiga ega bo'ladi, har bir bashoratchi (x) uchun bittadan. Oddiy regressiyada bo'lgani kabi, b0 qiymati y-kesishmasidir. Agar x2 ham, x3 ham nolga teng bo'lsa, y^ uchun regressiya tenglamasining qiymati b0, y-kesishmasi. Agar x2 va x3 uchun nolga yaqinlashish mumkin bo'lsa, bu talqin foydali bo'lishi mumkin. Biroq, ko'p hollarda, ikkita bashorat qiluvchi o'zgaruvchi shunday bo'ladiki, ular nolga yaqin bo'lolmaydi. Oddiy regressiyada bo'lgani kabi, Y-kesish kamdan-kam hollarda foydali talqinga ega.

bo, b2, b3,… bk qiymatlari taxminiy regressiya koeffitsientlari deb ataladi. Har bir koeffitsient tegishli bashorat qiluvchi o'zgaruvchining birlik o'zgarishiga y ning o'rtacha o'zgarishini o'lchaydi. Biroq, barcha bashorat qiluvchi o'zgaruvchilarning y ga bir vaqtning o'zida ta'siri o'lchanayotganligi sababli, x2 (yoki boshqa x) ning aniq ta'siri boshqa bashorat qiluvchi o'zgaruvchilarning har qanday ta'siridan tashqari o'lchanishi kerak. Shuning uchun, b2 boshqa bashorat qiluvchi o'zgaruvchilarni doimiy ushlab, x2 ning birlik o'sishi uchun y ning o'rtacha o'zgarishini o'lchaydi, deyiladi.

Muayyan taxminiy regressiya koeffitsienti boshqa bashorat qiluvchi o'zgaruvchilarni doimiy ushlab turadigan tegishli bashorat qiluvchi o'zgaruvchining bir birlik o'sishi uchun bog'liq o'zgaruvchining o'rtacha o'zgarishini o'lchaydi.

7.1-misol. Tadqiqotchi bashorat qiluvchi o'zgaruvchilar sifatida to'g'ridan-to'g'ri ish soatlari, mashina soatlari va sozlashlar sonidan foydalangan holda oylik qo'shimcha xarajatlarni prognoz qilish uchun ko'p regressiya ko'p regressiya tenglamasini ishlab chiqdi. Ma'lumotlar va korrelyatsiya matritsasi 7.1-jadvalda keltirilgan

7.1-jadval

FOH narxi	To'g'ridan-to'g'ri ish soatlari	Mashina soatlari	Sozlamalar soni
155000	985	1060	200
160 000	1068	1080	225
170 000	1095	1100	250
165 000	1105	1200	202
185 000	1200	1600	210
135 000	1160	1100	150
145000	1145	1080	165

150 000	1025	1090	180
180 000	1115	1300	204
175000	1136	1400	206
190 000	1185	1500	208
200000	1220	1700	212

Korrelyatsiya matritsasi 7.2-jadval

	FOH xarajaty (x1)	To'g'ridan-to'g'ri ish vaqti x2	Mashinasoat x3	Raqam ningsozlash x4
FOH narxi y (x1)	1	0,534622	0.877501	0,627476
To'g'ridan-to'g'ri mehnat soat x2	0,534622	1	0.768072	-0,04731
Mashina soat x3	0.877501	0.768072	1	0,250748
Raqam ning sozlash x4	0,627476	-0,04731	0,250748	1

Bashorat qiluvchi o'zgaruvchilarni tanlash uchun ikkita qoidadan foydalanib, quyidagi kombinatsiya ko'rib chiqiladi:

1. 
   y uchun bashorat qiluvchi o'zgaruvchi sifatida x3 mashina soatlaridan foydalangan holda oddiy regressiya ishga tushirilishi kerak. Sabab: x3 yig'ilgan barcha bashorat qiluvchi o'zgaruvchilarning (r13=0,8775) bog'liq o'zgaruvchisi bilan eng yuqori korrelyatsiyaga ega va oylik qo'shimcha xarajatlar farqining 77,1 foizini (0,8775)2 ni tushuntiradi.
   

2. 
   X2 va x3 kombinatsiyasi ishga tushmasligi kerak. Sababi: x2 va x3 yaxshi potentsial bashorat qiluvchi o'zgaruvchilar (r12 = 0,534622 va r13=0,8775) bo'lsa-da, ular bir-biri bilan ham yuqori korrelyatsiyaga ega (r23= 0,768072) .
   

= 0,534622 ), shuning uchun multikollinearlik ehtimoli bor.

3. 
   X3 va x4 kombinatsiyasi birgalikda ishlatilishi kerak. Sababi: x3 eng yaxshi yagona bashoratchi va x4 adolatli bashoratchi (r14 = 0,627476). Ularning bir-biri bilan korrelyatsiyasi (r34 = 0,250748) y bilan ikki korrelyatsiyadan pastroq. Natijani baholash uchun yugurish amalga oshirilishi kerak.
   

4. 
   Sinab ko'rish kerak bo'lgan uchta bashorat qiluvchi o'zgaruvchining kombinatsiyasi yo'q. Sababi: Korrelyatsiya matritsasi uchta bashorat qiluvchining hech qanday kombinatsiyasini aniqlamaydi
   

y bilan yaxshi korrelyatsiyaga ega va bir-biri bilan past korrelyatsiyaga ega bo'lgan o'zgaruvchilar.

Excel yordamida biz qabul qilamiz

y=19796,43 + 65,43582x3 + 322,2073x4 yoki

FOH =19796,43 + 65,43582 (MH) + 322,2073 (NS)

Bu erda FOH - hisoblangan oylik qo'shimcha xarajatlar, MH - mashina soatlari, NS - sozlashlar soni.

Agar bashorat qiluvchi o'zgaruvchilar qiymatlarini aniqlasak, biz ushbu tenglamadan oylik qo'shimcha xarajatlarni bashorat qilish uchun foydalanishimiz mumkin. Aytaylik, biz keyingi oy uchun oylik umumiy xarajatlarni bashorat qilmoqchimiz. Biz 1500 mashina soati va 200 ta sozlashni rejalashtirmoqdamiz. FOH taxmin qilingan qiymati

FOH =19796,43 + 65,43582(MH) + 322,2073(NS) =19796,43 + 65,43582(1500)

+ 322.2073 (200) = 182391.621

Ko'p regressiya tenglamasi oylik qo'shimcha xarajatlar bo'lishini taxmin qiladi

Keyingi oy $182391,62.

Baholashning standart xatosi. Ko'p regressiyada standart baholash xatosi kuzatilgan namunadagi y qiymatlarining regressiya tekisligi atrofidagi o'zgaruvchanligini yoki tarqalishini o'lchaydi. Tenglama

ko'p regressiyada baholashning standart xatosi qanday hisoblanganligini ko'rsatadi. Bu erda Syx - baholashning standart xatosi, y - namunaviy y qiymatlari, y ^ - regressiya tekisligi yoki giperplaniyadan hisoblangan y ning qiymatlari, k - baholanadigan chiziqli mustaqil parametrlar soni (prognoz qiluvchi o'zgaruvchilarni qabul qilgan holda tenglamadagi bs soni). chiziqli mustaqil), n - tanlama hajmi.

Baholashning standart xatosi kuzatilgan namunadagi y qiymatlarining regressiya tekisligi atrofidagi o'zgaruvchanligini yoki tarqalishini o'lchaydi.

Bashorat va ishonch oraliqlari. Namuna ko'p regressiya tenglamasi tez-tez y uchun prognoz qilish uchun ishlatiladi. Agar regressiya tenglamasida berilgan x qiymatlar to'plami o'rniga qo'yilsa, y ning kutilgan qiymatini topish mumkin. Bu y, qiymat nuqta bahosi deyiladi. Biroq, bu ball bahosi tahlilchiga prognozning aniqlik darajasi haqida hech qanday ma'lumot bermaydi.

X ning berilgan qiymati uchun ma'lum bir y qiymatini bashorat qilish uchun bashorat oraliqlari qo'llaniladi.
Biz bashorat oralig'ini hisoblaymiz

y^ Sy^xt(nk)

bu yerda y^- y ning tanlanma regressiya bahosi, t(nk) - berilgan bashorat darajasi uchun nk erkinlik darajasiga asoslangan t- taqsimotdan olingan qiymat, Sy^x - bashorat qilishning taxminiy standart xatosi.




bu erda xjp - xj ning berilgan qiymati,j- xj ning o'rtachasi,- yig'indisi xj o'zgaruvchisi uchun jami kvadratlar soni, j=2,3,..., k.

Ishonch oraliqlari x ning ma'lum bir qiymati uchun y ning o'rtacha qiymatini baholash uchun ishlatiladi. Biz bashorat oralig'ini hisoblaymiz

y^ S^xt(nk)

bu erda y^- tanlanma regressiya bahosi, agar y bo'lsa, t(nk) - berilgan bashorat darajasi uchun nk erkinlik darajasiga asoslangan t- taqsimotdan olingan qiymat, S^x - baholashning taxminiy standart xatosi


bu yerda xjp - xj ning berilgan qiymati,j- xj ning o'rtachasi,- yig'indisi xj o'zgaruvchisi uchun jami kvadratlar soni, j=2,3,..., k.