6-ma’ruza. Ko’p o’zgaruvchili chiziqli regressiya Reja

6.4. Gradiyent tushish usuli

O’rtacha ko’rsatkichlar raqamlar ketma-ketligiga bog’liq. Bizda shovqinli S ketma-ketligi bor deylik. Ushbu misol uchun kosinus funksiyasini tuzamiz va Gauss shovqini qo’shamiz. Bu shunday ko’rinadi:

Ketma-ketlikda. E’tibor bering, nuqtalar bir-biriga juda yaqin ko’rinsa ham, ularning hyech biri X koordinatalarini taqsimlamaydi . Bu har bir nuqta uchun noyob raqam. Bu bizning S ketma-ketligimizdagi har bir nuqta indeksini belgilaydigan raqam.
Ushbu ma’lumotlar bilan nima qilishni istaymiz, undan foydalanish o’rniga bizga ma’lumotlarning shovqini keltirib chiqaradigan va uni asl funksiyasiga yaqinlashtiradigan qandaydir "harakatlanuvchi o’rtacha" ko’rsatkichlar kerak. Ko’rsatkichli o’rtacha ko’rsatkichlar bizga quyidagi ko’rinishga ega tasvirlarni berishi mumkin:



impuls - eksponent ravishda topilgan o’rtacha ko’rsatkichlardan olingan ma’lumotlar.
Ko’rib turganingizdek, bu juda yaxshi natija. Ko’p shovqinli ma’lumotlar o’rniga, bizda mavjud bo’lgan ma’lumotlarga qaraganda asl funksiyaga yaqinroq silliq chiziq paydo bo’ldi. Ko’rsatkichli vaznli vositalar quyidagi tenglama bilan yangi V ketma-ketlikni aniqlaydi:

Ushbu V ketma-ketlik yuqorida sariq rangda ko’rsatilgan. Beta - bu 0 dan bittagacha qiymatlarni qabul qiladi. Bundan tashqari Beta  ya’na bir giperparametr 1 ishlatiladigan yuqoridagi Beta -= 0,9 ga teng. Bu yaxshi qiymatdir va ko’pincha SGD-da tezkorlik bilan ishlatiladi. Intuitiv ravishda beta-versiya haqida quyidagilarni o’ylab ko’rishingiz mumkin . Biz ketma-ketlikdagi so’nggi 1/(1-beta) ball bo’yicha o’rtacha hisoblaymiz . Keling, beta-versiyani tanlashimiz bizning yangi V ketma- ketligimizga qanday ta’sir qilishini ko’rib chiqaylik .

Turli xil beta-qiymatlar uchun eksponsional ravishda topilgan o’rtacha qiymatlar.
Ko’rib turganingizdek, kamroq beta-versiyalar bilan yangi ketma-ketlik juda o’zgaruvchan bo’lib chiqadi, chunki biz kamroq misollar bo’yicha o’rtacha hisoblaymiz va shuning uchun shovqinli ma’lumotlarga "yaqinroq" bo’lamiz. Beta = 0.98 kabi kattaroq beta qiymatlari bilan biz ancha zaifroq egri chiziqni olamiz, ammo u biroz o’ngga siljiydi, chunki biz ko’proq misollarni o’rtacha hisoblaymiz ( beta = 0.98 uchun 50 ga yaqin ). Beta = 0.9 ushbu ikkita haddan tashqari muvozanatni ta’minlaydi.