Xizmat ko’rsatishni rad etish

Algoritm gradient oshirish

Barcha holatlarda, yuqorida tavsiflanganlar yoki birinchi bobda tavsiflanganlar algoritmlar, biz zaif yoki kuchli algoritmlar muammosiga duch kelamiz. Da yutuqlar mutlaq chegara Ish algoritmlar mashina

o'rganish to'xtaydi. IN keyin bir xil vaqt mualliflar [130] edi empirik tarzda isbotlangan bu haqiqat, nima sifat bashoratlar Bormoq yoki boshqa algoritm Kompozitsiyalarning ko'payishi tufayli mashinani o'rganish yaxshilanishi mumkin algoritmlar tan olish. muammo shunday yechimlar aylandi o'sish qiyinchiliklar eng algoritm [131].
Tadqiqot bo'linish algoritmlar mashina o'rganish ustida zaif Va kuchli tez orada LED uchun xulosa nima har qanday zaif algoritm mumkin oshirish faqat to'g'ri kompozitsiyani qurish orqali. Ya'ni, samaradorlik va bu algoritmning soddaligi aniq afzalliklarga ega. 2001 yilda ichida ish [132] algoritm edi umumlashtirilgan Va oldi sarlavha gradient oshirish.
Vazifa tasnifi tarmoq tirbandlik ustida asos gradient oshirish tuzilgan Keyingi yo'l:

• 
  kiritish ma'lumotlar bo'ladi: tarbiyaviy namuna ^{ 𝑥 ₁ , … , 𝑥 _𝑛 ^} , rost har birining teg qiymatlari ob'ekt {𝑦 _1, , … , 𝑦 _𝑚 } , raqam iteratsiyalar 𝑀 ;
  
• 
  tanlash funktsiyalari yo'qotishlar 𝐿 ⁽ 𝑦, 𝑓 ⁾ ;
  
• 
  tanlash Asosiy algoritm ℎ(𝑥, 𝜃) ;
  
• 
  tanlash giperparametrlar.
  

Gradientni kuchaytirish algoritmidan foydalanib, uni qayta tiklash kerak qaramlik 𝑦 = 𝑓 ⁽ 𝑥 ⁾ ga yaqinlashtirish orqali 𝑓 ^{̂ (} 𝑥 ⁾ , minimallashtirish uchun biz foydalanamiz funktsiyasi yo'qotishlar L ⁽ 𝑦, 𝑓(𝑥) ⁾ :
𝑓 ^{̂ (} 𝑥 ⁾ = 𝑎𝑟𝑔 min ➪ _𝑥,𝑦 [𝐿(𝑦, 𝑓 ⁽ 𝑥 ⁾ )], (2.10)
𝑓(𝑥)
da bu umumiy funktsiyasi xatolar bo'ladi so'm xatolar ustida hamma trening misol:

𝑖=1
𝐸 ⁽ 𝜃 ⁾ = ^{∑ 𝑇} 𝐸 _𝑖 (𝑓 ⁽ 𝑥, 𝜃 ⁾ , 𝑦) , (2.11)
qayerda 𝜃 - parametr chegarasi qidirmoq funktsiyalari.
Algoritm gradient oshirish yuqorida hal qiluvchi daraxtlar birlashtiradi

𝑡=1
bir nechta daraxtlar regressiya ^{∑ 𝑇}
𝑓 _𝑡 (𝑥)
uchun yaqinlashishlar final

modellar

𝑡=1
𝑓 _𝑇 ⁽ 𝑥 ⁾ = ^{∑ 𝑇}
Daraxtlar regressiya mumkin ifodalash Qanday
𝑓 _𝑡 (𝑥)
(2.12)

𝑤 _𝑞(𝑥) , 𝑞 ∈ {bir, 2, … , 𝐽} , (2.13) qayerda 𝐽 - bu raqam barglar, 𝑞 - bu qoidalar qabul qilish hal qiluvchi daraxt, lekin
𝑤 - vektor, bildiruvchi vazn namunalar.
Binobarin, gradient oshirish ustida hal qiluvchi daraxtlar bo'ladi o'rganing ichida qo'shimcha shaklda bosqich 𝑡 Keyingi yo'l:

𝑖=1
D𝑡 _{_} = ^{∑ 𝑛} 𝐿(𝑦 _𝑖 , 𝐹 _𝑡−1 ⁽ 𝑥 _𝑖 ⁾ + 𝑓 _𝑡 (𝑥 _𝑖 )). (2.14)
Bo'lsin 𝐼 _𝑗 to'plam varaq 𝑗 :

D = ^{∑ 𝑗}
( ( ^∑𝑔 ) 𝜔 + ^bitta ( ^∑ℎ _

+ 𝜆)𝜔 ² ), (2.15)

^𝑡 𝑗=1
𝑖∈𝐼 _𝑗 𝑖 𝑗 ₂
^𝑖∈𝐼 _𝑗 ^𝑖 𝑗

qayerda 𝑔 _𝑖 Va ℎ _𝑖 bor funktsiyalari yo'qotishlar birinchi Va ikkinchi buyurtma.
maqsad funktsiyasi gradient oshirish Unda bor ko'rinish:

2
₁ ( ^∑𝑔 _ )

2
( ^∑𝑔 _ )

⁽ ∑𝑔 ^{) 2}

G = ( ^{𝑖∈𝐼 𝐿 𝑖} + ^{𝑖∈𝐼 𝑅 𝑖} − ^{𝑖∈𝐼 𝑖} ) , (2.16)

2 ^∑ _{𝑖∈𝐼 𝐿} ℎ _𝑖 +𝜆
^∑ 𝑖∈𝐼 _𝑅 ^ℎ 𝑖 ^+𝜆
∑ 𝑖∈𝐼 ^ℎ 𝑖 ^+𝜆

qayerda 𝐼 _𝐿 Va 𝐼𝑅 _{_} to'plamlar ma'lumotlar chap Va to'g'ri filiallari daraxt [ 133 ].
Aniq foyda algoritm gradient oshirish bor yuqori o'zgaruvchanlik algoritm, imkoniyat o'z-o'zidan tanlang funktsiyasi yo'qotish, imkoniyat tanlash Asosiy algoritm uchun o'rganish modellar gradient oshirish.
Ushbu algoritmning kamchiligi murakkablikdir, ayniqsa, agar zarur qurmoq kopgina algoritmlar uchun kompozitsiyalar. IN keyin bir xil vaqt uchun tezlashuv ish gradient oshirish balki ilova turli xil algoritmlar optimallashtirish.
Shunday qilib, aniqlash muammosi uchun DDoS hujumlari maqsadga muvofiq gradientni kuchaytirish algoritmidan foydalaning. Biroq, bu zarur qurmoq har xil modellar ustida asos hammasi topshirildi algoritmlar mashina o'rganish dan o'qituvchi uchun haqiqiyligi tanlash algoritm.

5.