15. Regressiya algoritmlari

Ijobiy chiziqli munosabatlar

Ham mustaqil, ham qaram o'zgaruvchi ortsa, chiziqli munosabatlar ijobiy deb nomlanadi. Buni quyidagi grafik yordamida tushunish mumkin

Salbiy chiziqli munosabatlar

Agar mustaqil o'sish va qaram o'zgaruvchi kamaysa, chiziqli munosabatlar ijobiy deb nomlanadi. Buni quyidagi grafik yordamida tushunish mumkin:

Chiziqli Regressiyaning turlari________________
Chiziqli Regressiya quyidagi ikki turga bo'linadi:

• 
  Oddiy Chiziqli Regressiya
  
• 
  Ko'p Chiziqli Regressiya
  

Oddiy Chiziqli Regressiya(Simple Linear Regression(SLR))

Bu bitta xususiyat yordamida javobni taxmin qiladigan chiziqli regressiya-

ning eng asosiy versiyasidir. SLR-dagi taxmin shuki, ikkita o'zgaruvchining chiziqli bog'liqligi mavjud.
Python dasturini amalga oshirish

SLR-ni Python-da ikki xil usulda amalga oshirishimiz mumkin, ulardan biri o'zingizning ma'lumotlar bazangizni taqdim etish, ikkinchisi esa scikit-learn python kutubxonasidagi ma'lumotlar to'plamidan foydalanish.

1-misol: Quyidagi Python dasturida biz o'z ma'lumotlar to'plamimizdan foydalanmoqdamiz.
Birinchidan, biz kerakli paketlarni quyidagi tarzda import qilishni boshlaymiz:

Navbatdagisi, SLR uchun muhim qiymatlarni hisoblaydigan funktsiyani aniqlash:

Quyidagi skript satri n kuzatuvlar sonini beradi:

X va Y vektorining o'rtacha qiymatini quyidagicha hisoblash mumkin:

X haqida o'zaro og'ish va og'ishni quyidagicha topishimiz mumkin:

Keyingisi,Regressiya koeffitsientlari, ya'ni b ni quyidagicha hisoblash mumkin:

Keyingisi, biz regressiya chizig'ini tuzadigan va javob vektorini taxmin qiladigan funktsiyani aniqlashimiz kerak:

Quyidagi skript satri haqiqiy nuqtalarni tarqalish chizig'i sifatida belgilaydi:

Quyidagi skript satri javob vektorini taxmin qiladi:

Quyidagi skript satrlari regressiya chizig'ini tuzadi va ularga yorliqlarni qo'yadi:

Nihoyat, biz ma'lumotlar bazasini ta'minlash va yuqorida aniqlangan funktsiyani chaqirish uchun main () funktsiyasini aniqlashimiz kerak:


Chiqish




Misol-2: Quyidagi Python dasturida biz scikit-learn dan diabet ma'lumotlar to'plamidan foydalanamiz.
Birinchidan, biz kerakli paketlarni quyidagi tarzda import qilishni boshlaymiz:

Keyinchalik, biz diabet ma'lumotlar to'plamini yuklaymiz va uning ob'ektini yaratamiz:

SLRni amalga oshirayotganda biz faqat bitta xususiyatdan foydalanamiz:

Keyinchalik, biz ma'lumotni o'quv va test to'plamlariga quyidagicha ajratishimiz kerak:

Keyinchalik, maqsadni o'quv va test to'plamlariga quyidagicha ajratishimiz kerak:

Endi modelni o'qitish uchun chiziqli regressiya ob'ekti quyidagicha yaratilishi kerak:

So'ngra, o'quv to'plamlari yordamida modelni quyidagi tarzda o'rgating:

Keyinchalik, test to'plamidan foydalanib, bashorat qiling:

Keyinchalik, biz MSE, Variance score va boshqalar kabi ba'zi bir koeffitsientlarni quyidagicha nashr qilamiz:

Endi, natijalarni quyidagicha tuzing:




Chiqish


Ko’p Chiziqli Regressiya

(Multiple Linear Regression (MLR))
Bu ikki yoki undan ortiq funktsiyalar yordamida javobni taxmin qiladigan oddiy chiziqli regressiyaning kengayishi. Matematik jihatdan biz buni quyidagicha tushuntirishimiz mumkin:
N ta kuzatuvga ega bo'lgan ma'lumotlar to'plamini, ya'ni mustaqil o'zgaruvchilarni va bitta javob sifatida y ni, ya'ni o'zgaruvchan o'zgaruvchini, p funktsiyalari uchun regressiya chizig'ini quyidagicha hisoblash mumkin:


Bu erda 𝒉 (𝒙𝒊) taxmin qilingan javob qiymati va 𝒃_𝟎, 𝒃_𝟏, 𝒃_𝟐…, 𝒃_𝒑 regressiya koeffitsientlari.
Ko'p chiziqli regressiya modellari har doim qoldiq xatosi deb nomlanadigan ma'lumotlardagi xatolarni o'z ichiga oladi, bu hisoblashni quyidagicha o'zgartiradi:


Yuqoridagi tenglamani quyidagicha yozishimiz mumkin:



Python dasturini amalga oshirish______________
ushbu misolda biz Boston uy-joylari to'plamini scikit learn dan foydalanamiz:

Keyinchalik, ma'lumotlar bazasini o'quv va test to'plamlariga quyidagicha ajratib oling:

Quyidagi skript satrlari xususiyat matritsasini, X va javob vektorini belgilaydi Y:

Keyin, ma'lumotlar to'plamini quyidagicha yuklang:
Birinchidan, biz kerakli paketlarni quyidagi tarzda import qilishni boshlaymiz:

Endi chiziqli regressiya ob'ekti yarating va modelni quyidagicha o'rgating:

Chiqish



Taxminlar________________________________
Quyida Lineer Regression modeli tomonidan yaratilgan ma'lumotlar to'plami haqidagi ba'zi taxminlar keltirilgan:
Ko'p kollinearlik: Chiziqli regressiya modeli ma'lumotlarda juda ko'p kollinearlik juda kam yoki umuman yo'q deb taxmin qiladi. Asosan, ko'p kollinearlik mustaqil o'zgaruvchilar yoki xususiyatlar ularga bog'liqlikka ega bo'lganda paydo bo'ladi.
Avtomatik korrelyatsiya: Lineer regressiya modelining yana bir taxminiga ko'ra, ma'lumotlarda avtomatik korrelyatsiya juda kam yoki umuman yo'q. Asosan, avtomatik korrelyatsiya qoldiq xatolar orasidagi bog'liqlik bo'lganda paydo bo'ladi.
O'zgaruvchilar o'rtasidagi bog'liqlik: Lineer regressiya modeli javob va xususiyat o'zgaruvchilari o'rtasidagi munosabatlar chiziqli bo'lishi kerakligini taxmin qiladi.