2. Regulyarizatsiya uchun ishlatiladigan ba'zi usullar

9.3.Neyrontarmoqlarniregulyarizatsiyalash

Birinchidan, tartibga solinmaganholda neyron tarmoqni quramiz, keyin regulyarizatsiyabilan, qaysi biri kamroqumumlashma xatosiga ega ekanligini ko'rishimiz mumkin. λ eng yaxshi natijalarniolish uchun moslashtirilishi kerakligini unutmang, lekin bu erda kontseptsiyaniko'rsatishuchuno'zboshimchalikbilanqiymatnitanlaymiz.Harikkineyrontarmoqlaribo'ladi2 harbiryashirin qatlami borqaerdayashirinqatlamlari5 ta.

# Қатлам улчамларини созлаш
layer_dims=X_train.shape0,5,5,1
#поездNN
параметрлар = model_with_regularization (X_train, Y_train,layer_dims,learning_rate=0,03,num_epochs=2500,print_cost
=True,hidden_layers_activation_fn="tanh",lambd=0)
print (« Ўқитишнинг аниқлик даражаси: {}». формат (аниқлик (X_train,параметрлар,Y_train,«tanh»)-7:))
print («Тестнинг аниқлик даражаси: {}». формат (аниқлик (X_test,параметрлар,Y_test,«tanh») -7:))
Нархи 100 итерациядан сўнг: 0.6555634398145331
Нархи 200 итерациядан сўнг: 0,6467746423961933
Нархи 300 итерациядан сўнг:0.6446638811282552
Нархи 400 итерациядан сўнг: 0.6441400737542232
Нархи 500 итерациядан сўнг: 0.6440063101787575
Нархи 600 итерациядан сўнг: 0,6439697872317176
Нархи 700 итерациядан сўнг:0,6439570623358253
Нархи 800 итерациядан сўнг: 0.6439491872993496
Нархи 900 итерациядан сўнг: 0,6439407592837082
Нархи 1000 итерациядан сўнг: 0.6439294591543208
Нархи 1100 итерациядан сўнг: 0.6439131091764411
Нархи 1200 итерациядан сўнг: 0.6438883396380859
Нархи 1300 итерациядан сўнг: 0,6438489715870495
Нархи 1400 итерациядан сўнг: 0,6437825798034876
Нархи 1500 итерациядан сўнг: 0.6436617691190204
Нархи 1600 итерациядан сўнг: 0.6434191397054715
Нархи 1700 итерациядан сўнг: 0.642864008138056
Нархи 1800 итерациядан сўнг: 0.6413476000796884
Нархи 1900 итерациядан сўнг: 0,6360827945885947
Нархи 2000 итерациядан сўнг: 0.6124050450908987
Нархи 2100 итерациядан сўнг: 0.511236045905345
Нархи 2200 итерациядан сўнг: 0.5287658028657057
Нархи 2300 итерациядан сўнг: 0,43124104856359174
Нархи 2400 итерациядан сўнг: 0.38213869447364884
Нархи 2500 итерациядан сўнг: 0.3386708692392079
Ўқитишнинг аниқлик коэффициенти: 82,30%.
Тестнинг аниқлиги:78,00%.

Treningninganiqligi82,30%,sinovaniqligiesa78%.Ta'limvatestaniqligio'rtasidagi farq juda katta emas, ya'ni bizda juda ko'p narsa yo'q. Shuning uchun,kichik Regulyarizatsiyayordam berishi mumkin, masalan λ = 0,02. Amaliyotlarnitavsiyaetadiganlsqiymatlari:0,02,0,04,0,08,0,16,0,32,0,64,1,28,2,56,5,12, 10,24.

#Поезд НН с регуляризацией
параметрлар = model_with_regularization (X_train, Y_train,layer_dims,learning_rate=0,03,num_epochs=2500,print_cost
= True, hidden_layers_activation_fn = "tanh", lambd = 0,02)print («Ўқитишнинг аниқлик даражаси: {}». формат (аниқлик (X_train, параметрлар,Y_train,«tanh»)-7:))
print («Тестнинг аниқлик даражаси: {}». формат (аниқлик (X_test,параметрлар,Y_test,«tanh») -7:))
Нархи 100 итерациядан сўнг: 0.6558634554205135
Нархи 200 итерациядан сўнг: 0.6470807090618383
Нархи 300 итерациядан сўнг: 0.6449737235917311
Нархи 400 итерациядан сўнг: 0.6444519406797673
Нархи 500 итерациядан сўнг: 0.6443191828114609
Нархи 600 итерациядан сўнг:0.6442831256251426
Нархи 700 итерациядан сўнг: 0,6442705985766486
Нархи 800 итерациядан сўнг: 0.6442628048800636
Нархи 900 итерациядан сўнг: 0.6442544325786784
Нархи 1000 итерациядан сўнг: 0.6442432311807257
Нархи 1100 итерациядан сўнг: 0.6442270988055475
Нархи 1200 итерациядан сўнг: 0.6442027847231018
Нархи 1300 итерациядан сўнг: 0.6441643410411311
Нархи 1400 итерациядан сўнг: 0.6440998547029029
Нархи 1500 итерациядан сўнг: 0,6439832000181198
Нархи 1600 итерациядан сўнг: 0,6437505375793907
Нархи 1700 итерациядан сўнг: 0.6432228625403317
Нархи 1800 итерациядан сўнг: 0,6417982979158361
Нархи 1900 итерациядан сўнг: 0,6369273437378263
Нархи 2000 итерациядан сўнг: 0.6152774362019153
Нархи 2100 итерациядан сўнг: 0.5207828651496548
Нархи 2200 итерациядан сўнг: 0.5145012356446598
Нархи 2300 итерациядан сўнг: 0,40757220705507585
Нархи 2400 итерациядан сўнг: 0,517757346098386
Нархи 2500 итерациядан сўнг: 0.4574831239241244

Ўқитишнинг аниқлиги: 65,55%.

Тестнинг аниқлиги: 80,00%.

Yuqorida keltirilgan natijalar shuni ko'rsatadiki, biz 78% dan 80% gacha bo'lgansinovaniqliginioshirib,umumlashmaxatosiniyaxshiladik.Boshqatomondan,ta'limning aniqligi82,30%dan65,55%gachakamaydi.

• 
  λqiymatiengyaxshiumumlashmaxatosiniolishuchunsozlanishikerak. Odatda,bizλsuchunqiymatlarnitaqqoslashdabirqatortekshiruvlardanfoydalanamizvaengkichiktekshirishxatosigaegamodelnitanlaymiz.
  
• 
  Agarmodelqaytao'qitishdanazobchekayotganbo'lsa,tartibgasolishdanfoydalaning,ya'nixatoo'rganishxatositekshirishxatosi.
  
• 
  Agarregularizatsiyadanfoydalangandanso'ng, tasdiqlashxatosihalihamkattabo'lsa,undabizetarlidarajadamuvofiqbo'lmaganhududdabo'lamiz.Boshqachaaytganda, bizning modelimiz hali ham juda oddiy va allaqachon yuqori burchakkaega. Shuning uchun, modelga murakkablik qo'shing va keyin tartibga solishdanfoydalaning.
  

• 
  Biz hal qilmoqchi bo'lgan vazifalarning aksariyati etarli ma'lumotga ega emasligisababli(yokiko'proqma'lumotto'plashuchunqimmat),neyrontarmoqlarningmurakkabligini hisobga olgan holda, chuqur o'rganishda qayta jihozlash yanadakengtarqalganbo'ladi.