Neyron tarmoq asoslari va uni chuqur o'rganish

Импульс
Impuls

Импульс помогает алгоритму обучения выбираться из областей пространства по-иска, в которых иначе он застрял бы навечно. Благодаря ему корректор находит

5888. 
      ландшафте ошибок долины, ведущие к минимумам. По отношению к скорости обучения импульс – то же самое, что скорость обучения по отношению к весам, он позволяет находить более качественные модели. В последующих главах мы не раз увидим импульс в действии.
      
5889. 
      Ushbu impuls o'rganish algoritmini qidirish maydonidan chiqib ketishga yordam beradi, aks holda u abadiy qolishi mumkin. Unga rahmat, tuzatuvchi vodiydagi xatolar manzarasini topadi, bu esa pasayishga olib keladi. O'qitish tezligiga nisbatan, impuls og'irliklarga nisbatan o'qitish tezligi bilan bir xil, u sizga yaxshiroq modellarni topishga imkon beradi. Keyingi boblarda biz harakatlarning bir nechta turtkilarini ko'ramiz.
      

Разреженность
Kenglik

Гиперпараметр «разреженность» позволяет учесть тот факт, что в некоторых входных примерах релевантными являются лишь немногие признаки. Пусть, на-пример, сеть должна классифицировать миллион изображений. Каждое изобра-жение представлено ограниченным количеством признаков. Но чтобы эффектив-но классифицировать миллионы изображений, сеть должна уметь распознавать гораздо больше признаков, многие из которых в большинстве примеров отсут-ствуют. В качестве примера приведем фотографии морских ежей, на которых во-обще не бывает ни носа, ни кормы, и фотографии подводных лодок, на которых признаки носа и кормы отсутствуют.

Giperparametrning "zichligi" ba'zi kirish misollarida faqat bir nechta xususiyatlar muhimligini hisobga olishga imkon beradi. Masalan, tarmoq millionta rasmni tasniflashi kerak. Har bir rasm cheklangan miqdordagi xususiyatlar bilan namoyish etilgan. Ammo millionlab tasvirlarni samarali tasniflash uchun tarmoq ko'proq xususiyatlarni taniy olish imkoniyatiga ega bo'lishi kerak, ularning aksariyati ko'pgina misollarda mavjud emas. Misol sifatida, biz odatda kamon yoki qattiq bo'lmagan dengiz pichoqlarining fotosuratlarini va kamon va dadil izlari bo'lmagan suv osti kemalarining fotosuratlarini beramiz.

Признаки, выделяющие морских ежей, немногочисленны и теряются в обшир-ности слоев нейронной сети. Это проблема, потому что разреженные признаки могут ограничить число активируемых нейронов и снизить способность сети

23. 
    обучению. Противовесом разреженности служат смещения, которые заставля-ют нейроны активироваться, так что число активаций колеблется вокруг среднего значения, не давая сети застрять.
    

Dengiz peshoblarini ajratib turadigan belgilar juda oz va neyron tarmog'i qatlamlarining kengligida yo'qoladi. Bu muammodir, chunki siyrak belgilar faollashtirilgan neyronlar sonini cheklab, tarmoqning o'rganish qobiliyatini kamaytiradi. Qarshilikning muvozanati bu neyronlarning faollashuviga olib keladigan joy almashtirishlardir, shuning uchun aktivatsiyalar soni o'rtacha qiymat atrofida o'zgarib turadi va bu tarmoqning ishdan chiqishiga yo'l qo'ymaydi.