Gradientni kuchaytirish algoritmi
Barcha holatlarda, yuqorida tavsiflangan yoki birinchi bobda tavsiflangan algoritmlar bo'ladimi, biz zaif yoki kuchli algoritmlar muammosiga duch kelamiz. Mutlaq chegaraga erishilganda, mashina algoritmlarining ishlashi
o'rganish to'xtaydi. Shu bilan birga, [130] mualliflari u yoki bu mashinali oโqitish algoritmini bashorat qilish sifatini tanib olish algoritmlari tarkibining ko'payishi hisobiga yaxshilash mumkinligini empirik tarzda isbotladilar. Ushbu yechim bilan bog'liq muammo algoritmning o'zi murakkabligining oshishi edi [131].
Mashinali oโqitish algoritmlarini zaif va kuchlilarga bo'lish bo'yicha tadqiqotlar tez orada har qanday zaif algoritmni faqat to'g'ri kompozitsiyani yaratish orqali kuchaytirish mumkin degan xulosaga keldi. Ya'ni, ushbu algoritmning samaradorligi va soddaligi aniq afzalliklarga ega bo'ldi. 2001 yilda [132] da algoritm umumlashtirildi va gradientni kuchaytirish deb nomlandi.
Tarmoqni tasniflash muammosiGradientni kuchaytirishga asoslangan trafik quyidagicha tuzilgan:
kirish ma'lumotlari quyidagilar bo'ladi: o'quv to'plami {๐ฅ1, โฆ , ๐ฅ๐}, har bir obyektning haqiqiy teg qiymatlari {๐ฆbitta,, โฆ , ๐ฆ๐}, takrorlashlar soni ๐;
yo'qotish funksiyasini tanlash ๐ฟ(๐ฆ, ๐);
asosiy algoritmni tanlash โ(๐ฅ, ๐);
giperparametrlarni tanlash.
Gradientni kuchaytirish algoritmidan foydalanib, ๐ฆ = ๐(๐ฅ) bogสปliqligini ๐ฬ(๐ฅ) ga yaqinlashtirish orqali tiklash kerak, minimallashtirish uchun L(๐ฆ, ๐(๐ฅ)) yoสปqotish funksiyasidan foydalanamiz:
๐ฬ(๐ฅ) = ๐๐๐ min โช๐ฅ,๐ฆ[๐ฟ(๐ฆ, ๐(๐ฅ))], (2.10)
๐(๐ฅ)
bu holda, umumiy xato funksiyasi har bir ta'lim misolidagi xatolar yig'indisi bo'ladi:
๐=1
๐ธ(๐) = โ๐ ๐ธ๐(๐(๐ฅ, ๐), ๐ฆ),(2.11)
bu yerda ๐ - funksiya qidirish parametrining cheklanishi.
Qaror daraxtlari ustidan gradient oshirish algoritmi birlashtiradi
๐ก=1
bir nechta regressiya daraxtlari โ๐
๐๐ก(๐ฅ)
finalga yaqinlashish uchun
modellar
๐ก=1
๐๐ (๐ฅ) = โ๐
Regressiya daraxtlari quyidagicha ifodalanishi mumkin
๐๐ก(๐ฅ)
(2.12)
๐ค๐(๐ฅ), ๐ โ {1, 2, โฆ , ๐ฝ},(2.13) bu yerda ๐ฝ - barglar soni, ๐ - qaror daraxti qaror qoidalari va
๐ค - namunaning og'irligini bildiruvchi vektor.
Shunday qilib, qaror daraxtlarida gradientni oshirish qo'shimcha shaklda ๐ก bosqichida quyidagi tarzda o'rganiladi:
๐=1
D๐ก = โ๐ ๐ฟ(๐ฆ๐, ๐น๐กโ1(๐ฅ๐) + ๐๐ก(๐ฅ๐)). (2.14)
๐ผ๐ barg toสปplami boสปlsin ๐:
D = โ๐
((โ ๐ ) ๐ + 1 (โ โ
+ ๐)๐2),(2.15)
๐ก ๐=1
๐โ๐ผ๐ ๐๐ 2
๐โ๐ผ๐ ๐ ๐
bu yerda ๐๐ va โ๐ birinchi va ikkinchi tartibli yo'qotish funksiyalari.
Gradientni kuchaytirishning maqsad funksiyasi:
2
bitta (โ ๐ )
2
(โ ๐ )
(โ ๐ ) 2
G=( ๐โ๐ผ๐ฟ๐ +๐โ๐ผ๐
๐ โ๐โ๐ผ๐), (2.16)
2 โ๐โ๐ผ๐ฟโ๐+๐
โ๐โ๐ผ๐
โ๐+๐
โ๐โ๐ผโ๐+๐
bu yerda ๐ผ๐ฟ va ๐ผ๐
- daraxtning chap va o'ng shoxlarining ma'lumotlar to'plami [133].
Gradientni kuchaytirish algoritmining aniq afzalliklari algoritmning yuqori o'zgaruvchanligi, yo'qotish funksiyasini mustaqil tanlash qobiliyati, gradientni kuchaytirish modelini o'rgatish uchun asosiy algoritmni tanlash qobiliyatidir.
Ushbu algoritmning kamchiliklari murakkablikdir, ayniqsa kompozitsiyalar uchun ko'plab algoritmlarni qurish kerak bo'lsa. Shu bilan birga, gradientni oshirish jarayonini tezlashtirish uchun turli xil optimallashtirish algoritmlaridan foydalanish mumkin.
Shunday qilib, DDoS hujumlarini aniqlash uchun gradientni kuchaytirish algoritmidan foydalanish tavsiya etiladi. Biroq, algoritmni tanlashning haqiqiyligi uchun barcha taqdim etilgan boshqariladigan mashinali oโqitish algoritmlari asosida turli xil modellarni qurish kerak.
Do'stlaringiz bilan baham: |