Gradient usuli

Mavzu: Gradient usuli Bajardi: Soliyeva D Tursunaliyeva N

Reja:

• To’plamli gradient tushishi
• Stokastik (Stochastic) gradient to’plami
• To'plamli gradient tushishi va stokastik gradient tushishi o'rtasidagi farq
• Chiziqli regressiyada gradient tushishi

Gradient usuli - bu turli xil mashina o'rganish algoritmlarida xarajat funktsiyasini minimallashtirish uchun ishlatiladigan optimallashtirish algoritmi.

• Gradient usuli - bu turli xil mashina o'rganish algoritmlarida xarajat funktsiyasini minimallashtirish uchun ishlatiladigan optimallashtirish algoritmi.
• U asosan o'quv modeli parametrlarini yangilash uchun ishlatiladi.

To’plamli gradient tushishi

• Bu gradient tushishning har bir iteratsiyasi uchun barcha mashg’ulot misollarini qayta ishlovchi gradient tushish turidir. Ammo, agar mashg’ulot misollarining soni ko'p bo'lsa, unda gradientning to'liq tushishi hisoblash juda qimmatga tushadi. Demak, agar mashg’ulot misollari soni ko'p bo'lsa, unda to'plamning gradient tushishiga afzallik berilmaydi. Buning o'rniga biz stokastik gradient tushishi yoki mini-to'plamli gradient tushishidan foydalanishni afzal ko'ramiz.

To’plamli gradient tushishi

• To’plamning gradient tushish algoritmi.
• Chiziqli regressiya gipotezasi hθ(x) bo’lsin, keyin harajat funksiyasi quyidagicha hisoblanadi:
• Ʃ i=1 dan m gacha bo’lgan barcha mashg’ulot misollarining yig’indisini ifodalasin.
• Bu yerda xj(i) i-mashq misolining j-xususiyatini ifodalaydi. Shunday qilib, agar m juda katta bo'lsa (masalan, 5 million ta o'quv namunasi), u holda global minimal darajaga yaqinlashish uchun bir necha soat yoki hatto kunlar kerak bo'ladi. Shuning uchun katta ma'lumotlar to'plamlari uchun to’plamli gradient tushishidan foydalanish tavsiya etilmaydi, chunki u o'rganishni sekinlashtiradi.

Bu har bir iteratsiyada 1 ta mashq misolini qayta ishlovchi gradient tushish turi. Shunday qilib, parametrlar faqat bitta misolga ishlov berilgan bir iteratsiyadan keyin ham yangilanadi. Demak, bu to’plamli gradient tushishidan ancha tezroq. Shunga qaramay, mashg’ulot misollari soni ko'p bo'lsa ham, u faqat bitta misolni qayta ishlaydi, bu tizim uchun qo'shimcha yuk bo'lishi mumkin, chunki iteratsiyalar soni juda katta bo'ladi.

• Bu har bir iteratsiyada 1 ta mashq misolini qayta ishlovchi gradient tushish turi. Shunday qilib, parametrlar faqat bitta misolga ishlov berilgan bir iteratsiyadan keyin ham yangilanadi. Demak, bu to’plamli gradient tushishidan ancha tezroq. Shunga qaramay, mashg’ulot misollari soni ko'p bo'lsa ham, u faqat bitta misolni qayta ishlaydi, bu tizim uchun qo'shimcha yuk bo'lishi mumkin, chunki iteratsiyalar soni juda katta bo'ladi.

• Stokastik (Stochastic) gradient to’plami