2. Regulyarizatsiya uchun ishlatiladigan ba'zi usullar

BizL2parametrlarinitartibgasolishniko'ribchiqamiz.

L2parametriniregulyarizatsiyalash.

Odatdabizofsetlarnitartibgasolmaymizvafaqatog'irliklarnituzatmaymiz.Hessenmatritsasidanvao'zqadriyatlaridanvao'zvektorlaridanvaznyo'qotishiningsezuvchanligini ko'rishuchunfoydalanishimizmumkin.Winingog'irligi (λi / λi + α) bilan o'zgartiriladi, bu erda λi (o'z qiymati) bu yo'nalishdaGessianmatritsasiningsezuvchanligini(o'zvektori)vaatartibgasoluvchigiperparametrni o'lchaydi.Shuninguchun,

• 
  Agar λi ≫α a qiymati funktsiyasi bu yo'nalishda juda sezgir bo'lsa va tegishliog'irlik xarajatlarnisezilarli darajadakamaytirsa-judakam(qisqaradi).
  
• 
  Agarλi≪αaqiymatifunktsiyasibu yo'nalishda sezgir bo'lmasava tegishliog'irlikqiymatningsezilarlipasayishigaolibkelmasa,unolgakamayadi(kamayadi).
  

Keyinmaqsadlifunktsiya(ikkiliko'zarofaoliyatentropiya)o'zgaradi:


Uchun:

Bundantashqari,yangigradyanlarvayangilanishtengligibo'ladi:

Shuniesdatutingki,buerdaa-o'rganishtezligivaλ-tartibgasoluvchigiperparametr. λ oshgani sayin, quyidagi ekstremal holatlar bilan ofset kuchayadi(vamodelkamroqmoslashuvchanbo'ladi)(qarang:shakl 2):

• 
  λ=0,tartibgasolinmaganholda.
  
• 
  λ → ∞, model juda oddiy bo'lib, barcha og'irliklar aslida nolga teng. Regressiyaholatidabizfaqatmaqsadlio'zgaruvchiningo'rtachaqiymatigatengbo'lganushlashniolamiz.
  

Ba'zanL2parametriningregulyatsiyasinormaltenglamayordamidaqandayishlashini ko'rishfoydalibo'ladi.Oddiytalab:

Budegani:

• 
  Dispersiyagaλqo'shilishivaznikamaytiradi
  

• 
  X^TXqaytatiklanmasaham,harbirfunktsiyagaλqo'shilishiunito'liqdarajadagi matritsagaaylantiradi.
  

Regulyarizatsiyabizniumumlashmaxatosinikamaytirishgaqandayyordamberishiniko'rsatishuchuncats_vs_dogsma'lumotlarto'plamidanfoydalanamiz.Ma'lumotlar to'plamida mushuk va itlar uchun tasvirlar mavjud. Rasmda mushukyoki it borligini sinflash uchun neyron tarmoqni yaratishga harakat qilamiz. Harbirtasvir RGB o'lchamida 64 x64pikselga ega.
Biz yozgan xususiyatlardan foydalanamiz "neyron kodlash tarmog'i - to'g'ridan-to'g'ri tarqatish va teskari tarqatish" parametrlarni ishga tushirish, to'g'ridan-to'g'ritarqatishnihisoblash,o'zaro faoliyat entropiya,gradyanlarvaboshqalar.
Keling, ma'lumotlarni import qilaylik va shaklni, shuningdek, o'quv to'plamidanmushukningnamunasiniko'ribchiqaylik.
Размеры обучающих данных:
Размерность X: (12288, 209), размерность Y: (1, 209)Размеры тестовых данных:
Размер X:(12288,50), размерY:(1,50)

O'quv to'plamida 209 ta misol va test to'plamida 50 ta misol mavjud. Keling, ko'pqatlamlineyrontarmoqniyozishgayordamberadiganbarchayordamchifunktsiyalarni yozamiz.

• 
  L2vaL1parametrlariniregulyarizatsiyakabiregulyarizatsiyausullariningbevositataxminlaridanbiriparametrlarningqiymatinolgatengbo'lishivabarchaparametrlarninolgakamaytirishgaharakatqilishdir. Bushunianglatadiki, ta'limma'lumotlarigajudayaxshiamalqilishdanqochishkerak, buesao'quvalgoritminiko'rinmasma'lumotlarganisbatanfoydasizbo'lganba'zishovqinlarnita'kidlashgaolibkeladi.