Gradient usuli

Stokastik gradient tushish algoritmi

• 1) Parametrlarni har bir turdagi ma'lumotlar uchun teng ravishda o'rgatish uchun ma'lumotlar to'plamini tasodifiy aralashtirish.
• 2) Yuqorida aytib o'tilganidek, u iteratsiya uchun bitta misolni hisobga oladi.

To'plamli gradient tushishi va stokastik gradient tushishi o'rtasidagi farq

• Chiziqli regressiya modelini o'rgatish uchun biz ba'zi model parametrlarini, masalan, xususiyat og'irliklari va noaniqlik shartlarini o'rganishimiz kerak. Xuddi shunday yondashuv Gradient usuli bo'lib, u mashg’ulot ma'lumotlari bo'yicha xarajat funktsiyasini minimallashtirish orqali model parametrlarini o'zgartirishga qodir bo'lgan iterativ optimallashtirish algoritmidir. Bu to'liq algoritmdir, ya'ni vaqt yetarli bo'lsa va o'rganish tezligi unchalik yuqori bo'lmasa, global minimumni (optimal yechim) topish kafolatlanadi. Chiziqli regressiya va neyron tarmoqlarda keng qo'llaniladigan Gradient tushish usulining ikkita muhim varianti - To'plamli Gradient Descent va Stokastik Gradient Descent (SGD) mavjud.

TR	To’plamli gradient tushishi	Stokastik (Stochastic) gradient to’plami
1	Butun mashg’ulot namunasi yordamida gradientni hisoblayd	Bitta mashg’ulot namunasi yordamida gradientni hisoblaydi
2	Sekin va hisoblash qimmat algoritm	To’plamli GD ga qaraganda tezroq va kamroq anzon hisoblash
3	Katta mashg’ulot namunalari uchun tavsiya etilmaydi.	Katta mashg’ulot namunalari uchun foydalanish mumkin.
4	Aniqlash harakterga ega	Tabiatan stochastik
5	Birlashish uchun yetarli vaqt berilgan optimal yechimni beradi.	Yaxshi yechim beradi, lekin optimal emas.
6	Ballarni tasodifiy aralashtirish talab qilinmaydi.	Ma'lumotlar namunasi tasodifiy tartibda bo'lishi kerak va shuning uchun biz har bir davr uchun o'quv majmuasini aralashtirmoqchimiz.
7	Sayoz mahalliy minimaldan osongina qochib qutula olmaydi.	SGD sayoz mahalliy minimallardan osonroq qochishi mumkin.
8	Birlashish qiyinroq	Birlashishga tezroq erishadi