Neyron tarmoq asoslari va uni chuqur o'rganish

Функции активации
Faollashtirish xususiyatlari

Функции активации используются для передачи выхода блоков одного слоя бло-кам следующего слоя (до выходного слоя включительно). Это скалярные функции скалярного аргумента, возвращающие значение активации нейрона. С их по-мощью нейроны скрытых слоев вносят нелинейность в модель нейронной сети. Многие функции активации принадлежат логистическому классу сигмоидных функций, график которых напоминает букву S. В семействе сигмоидных функций есть несколько вариаций, одна из которых называется просто сигмоидой. Рассмо-трим некоторые полезные функции активации.

Faollashtirish funktsiyalari bir qatlam bloklari chiqishini keyingi qavat bloklariga (chiqish sathiga qadar va shu jumladan) o'tkazish uchun ishlatiladi. Bular neyron aktivatsiyasining qiymatini qaytaradigan skalyar argumentning skalyar funktsiyalari. Ularning yordami bilan yashirin qatlam neyronlar neyron tarmoq modeliga nochiziqlilikni kiritadilar. Ko'pgina faollashtirish funktsiyalari sigmasimon funktsiyalarning logistik sinfiga tegishli, ularning grafigi S harfiga o'xshaydi. Sigmasimon funktsiyalar oilasida bir nechta o'zgarishlar mavjud, ulardan bittasini sigmasimon deb atashadi. Faollashtirishning ba'zi foydali xususiyatlarini ko'rib chiqing.
Линейная функция
Chiziqli funktsiya

Линейная функция (рис. 2.11) f(x) = Wx описывает пропорциональное соотно-шение между зависимой и независимой величинами. На практике часто встре-чается тождественная функция (W = 1), означающая, что сигнал вообще не из-меняется.

Chiziqli funktsiya (2.11-rasm) f (x) = Wx qaram va mustaqil miqdorlar o'rtasidagi mutanosib munosabatni tavsiflaydi. Amalda, bir xil funktsiyani (W = 1) tez-tez uchraydi, ya'ni signal umuman o'zgarmaydi.
72  Основы нейронных сетей и глубокого обучения




Рис. 2.11  Линейная функция активации
Chiziqli faollashtirish funktsiyasi

Такая функция используется во входном слое нейронной сети.

Bunday funktsiya neyron tarmoqning kirish qatlamida qo'llaniladi.