Neyron tarmoq asoslari va uni chuqur o'rganish

Рис. 2.13  Функция активации tanh
Tahn ni faollashtirish funktsiyasi


Функция hardtanh
Hardtanh funktsiyasi

Функция hardtanh просто обрезает все значения, выходящие за пределы норми-рованного диапазона. Если значение меньше –1, то оно заменяется на –1, а если больше 1, то на 1. Получается более устойчивая функция активации с ограничен-ной решающей границей.

Hardtanh funktsiyasi shunchaki normal qiymatdan tashqaridagi barcha qiymatlarni kesadi. Agar qiymat –1 dan kichik bo'lsa, u -1 ga o'zgartiriladi va agar u 1 dan katta bo'lsa, u holda 1 ga tenglashtiriladi. Cheklangan qat'iy chegara bilan barqarorroq faollashtirish funktsiyasi olinadi.


Функция softmax
Softmax funktsiyasi

Softmax – обобщение логистической регрессии в том смысле, что она применима

5888. 
      непрерывным данным (а не для бинарной классификации) и может иметь не-сколько решающих границ. Она используется для мультиномиальной классифи-кации и потому часто применяется в выходном слое классификатора.
      

Softmax - bu uzluksiz ma'lumotlarga nisbatan (va ikkilik tasniflash uchun emas) qo'llanilishi va bir nechta muhim chegaralarga ega bo'lishi mumkinligi nuqtai nazaridan logistik regressiyani umumlashtirish. U multinomial tasniflash uchun ishlatiladi va shuning uchun ko'pincha klassifikatorning chiqish qatlamida ishlatiladi.

74  Основы нейронных сетей и глубокого обучения
Интерпретация выхода softmax
Softmax mahsulotining talqini

Функция активации softmax возвращает распределение вероятности непересекающихся классов.

Softmaxni faollashtirish funktsiyasi disjoint sinflarining ehtimollik taqsimotini qaytaradi.

Чтобы лучше понять идею выходного слоя с функцией softmax, рассмотрим два сценария. Если имеется многоклассовая задача классификации, но нас интересует только класс с наивысшей оценкой, то имеет смысл включить выходной softmax-слой с функцией argmax(), которая возвращает класс с наивысшей оценкой.

Softmax funktsiyasi bilan chiqish qatlami g'oyasini yaxshiroq tushunish uchun ikkita stsenariyni ko'rib chiqing. Agar ko'p klassli tasniflash muammosi bo'lsa, lekin biz faqat eng yuqori reytingga ega sinfni qiziqtirsak, u holda sinfga eng yuqori reytingni qaytaradigan argmax () funktsiyasi bilan chiqadigan softmax qatlamini kiritish mantiqan.