Neyron tarmoq asoslari va uni chuqur o'rganish

Отнесение к нескольким классам
Ko’pgina sinflarni tasniflash

Если мы хотим отнести пример к нескольким классам (например, «человек + автомобиль»), то выходной слой с функцией softmax не подойдет. Вместо этого следует взять слой с сигмо-идной функцией активации, которая дает независимые вероятности каждого класса.

Agar biz misolni bir nechta sinflarga berishni istasak (masalan, "man + car"), unda softmax funktsiyasi bilan chiqish qatlami ishlamaydi. Buning o'rniga sigmasimon faollashtirish funktsiyasi bo'lgan qatlamni olish kerak, bu esa har bir sinf uchun mustaqil ehtimollik beradi.

23. 
    случае, когда меток много (порядка нескольких тысяч), следует использовать иерархическую функцию активации softmax. Она располагает метки в узлах древо-видной структуры, и в каждом узле обучается softmax-классификатор, определяю­ щий, какую ветвь выбрать на следующем шаге.
    
24. 
    Agar yorliqlar ko'p bo'lsa (bir necha mingga teng), ierarxik softmax faollashtirish funktsiyasidan foydalaning. Daraxt tuzilishi tugunlariga yorliqlar qo'yiladi va har bir tugunda softmax klassifikatori o'qitiladi, bu esa keyingi bosqichda qaysi filialni tanlashni aniqlaydi.
    

Линейная ректификация
Chiziqli rektifikatsiya

Функция линейной ректификации активирует блок, только если входной сигнал больше заданной величины. Функция описывается формулой f(x) = max(0, x), ее график показан на рис. 2.14.

Chiziqli rektifikatsiya funktsiyasi kirish signallari belgilangan qiymatdan katta bo'lsa, blokni faollashtiradi. Funktsiya f (x) = max (0, x) formula bilan tavsiflanadi, uning grafigi sek. 2.14.


Рис. 2.14  Функция линейной ректификации
Chiziqli rektifikatsiya funktsiyasi

Блоки линейной ректификации (ReLU) находят широкое применение в совре-менных глубоких сетях, поскольку хорошо работают во многих ситуациях. Так как производная ReLU равна нулю или константе, эта функция позволяет справиться

5888. 
      проблемой исчезающего и взрывного градиента. На практике сети с функцией активации ReLU обучаются лучше, чем сети с сигмоидными функциями актива-ции.
      

Chiziqni to'g'rilash moslamalari (ReLU) zamonaviy chuqur tarmoqlarda keng qo'llaniladi, chunki ular ko'plab vaziyatlarda yaxshi ishlaydi. ReLU hosilasi nolga yoki doimiyga teng bo'lganligi sababli, bu funktsiya yo'qolayotgan va portlovchi gradyan muammosini engishga imkon beradi. Amalda, ReLU faollashtirish funktsiyasi bo'lgan tarmoqlar sigmasimon faollashtirish funktsiyalariga ega tarmoqlarga qaraganda yaxshiroq o'rganishadi.

Функции активации  75