2. Regulyarizatsiya uchun ishlatiladigan ba'zi usullar

Regulyarizatsiya-qayta jihozlashni bartaraf etishning samarali usuli. Haqiqiy ma'lumot taqsimotini bilmasligimiz sababli, ampirik taqsimotga asoslangan ampirik xavf qayta o'qitishga moyil. Shunday qilib, eng yaxshi strategiya, albatta, ta'lim ma'lumotlariga juda mos keladi va keyin modelni yaxshi umumlashtirishi uchun Regulyarizatsiya usulini qo'llaydi. L2 parametrini tartibga solish, Dropout bilan birga, mashinani o'rganishda eng ko'p ishlatiladigan regulyarizatsiya usullari hisoblanadi.
9.2. Regulyarizatsiya uchun ishlatiladigan ba'zi usullar

1. 
   L2 parametrini regulyarizatsiya: shuningdek, vazn yo'qotish sifatida ham tanilgan, bu usul L2 me'yorini og'irlik stavkalarini boshlang'ich nuqtaga olib kelish uchun maqsadli funkciyaga qo'shib qo'yadi. Bu usul noldan bir xil nisbatda barcha og'irliklari kesadi-da; ammo, bu aniq nol bo'lishi uchun hech qanday vazn bor hech qachon.
   
2. 
   L1 (Lasso) parametrini regulyarizatsiya: bu funktsiyani tanlash usuli sifatida qaralishi mumkin, chunki; l2ni tartibga solishdan farqli o'laroq, ba'zi og'irliklar aslida nolga teng bo'ladi. L1 me'yorini maqsadli funktsiyaga qo'shib, barcha og'irliklarni bir xil miqdorda kamaytiradi.
   
3. 
   Chiqish: otpusk qoplarga qadoqlash texnikasi bir yondashuv sifatida qaralishi mumkin. Har bir yinelemede tasodifiy ravishda har bir qatlamda ba'zi neyronlarni o'chirib qo'yamiz va bu neyronlarni to'g'ridan-to'g'ri va teskari tarqatishda ishlatmaymiz. Bu neyron tarmog'ini og'irliklarni taqsimlashga va muayyan neyronlarga e'tibor bermaslikka olib keladi, chunki u har bir iteratsiyada qaysi neyronlarning paydo bo'lishini hech qachon bilmaydi. Shunday qilib, bu har bir iteratsiya bo'yicha turli modellarni o'qitish sifatida qaralishi mumkin. Bundan tashqari, biz har bir iteratsiya bo'yicha bir nechta neyronlarni olib tashlaganimiz sababli, bu tarmoqning pasayishiga olib keladi, bu esa o'z navbatida tarmoqni soddalashtirishni anglatadi.
   
4.