Mashinali o’qitish Mustaqil ish Guruh: 210-18 Bajardi: Mahmudova Dilnoza Tekshirdi: Ochilov Mannon Toshkent 2021

Gradient tushish algoritmining formulasini chiqarish

11-rasm: Gradient tushish algoritmi 1 qism

12-rasm: Gradient tushish algoritmi 2- qism

Izoh: Gradient tushishi - bu taxmin qilishning ko'p usullaridan biridir  .
Asosan, bu sizning xarajatlar funktsiyangizni va gradiyentlaringizni aniqlagandan so'ng Python-da osongina ishlatilishi mumkin bo'lgan yanada rivojlangan algoritmlar. Ushbu algoritmlar:

• 
  BFGS (Broyden – Fletcher – Goldfarb – Shanno algoritmi)
  
• 
  L-BFGS (BFGS singari, lekin cheklangan xotiradan foydalanadi)
  
• 
  Gradientni birlashtiring
  

Gradient kelib chiqishi bo'yicha ushbu algoritmlardan birini qo'llashning afzalliklari / kamchiliklari:

• 
  Afzalliklari
  
  • 
    O'qish tezligini tanlashning hojati yo'q
    
  • 
    Ko'pincha tezroq ishlaydi (har doim ham shunday emas)
    
  • 
    Siz uchun gradiyentni taxminiy baholashi mumkin (har doim ham yaxshi ishlamaydi)
    
• 
  Kamchiliklari
  
  • 
    Keyinchalik murakkab
    
  • 
    Agar siz o'ziga xos xususiyatlarni o'rganmasangiz, ko'proq qora quti