Я. Гудфеллоу, И. Бенджио, А. Курвилль



Download 14,23 Mb.
Pdf ko'rish
bet78/779
Sana14.06.2022
Hajmi14,23 Mb.
#671946
TuriКнига
1   ...   74   75   76   77   78   79   80   81   ...   779
Bog'liq
Гудфеллоу Я , Бенджио И , Курвилль А Глубокое обучение

выходит на плато
, т. е. становится очень плоской и малочувствительной 
к небольшим изменениям аргумента.
σ
(
x
)
1,0
0,8
0,6
0,4
0,2
0,0
–10
–5
0
5
10
Рис. 3.3 

Логистическая сигмоида
Часто встречается также 
функция softplus
(Dugas et al., 2001):
ζ
(
x
) = log (1 + exp(
x
))
.
(3.31)
Эта функция может быть полезна для порождения параметра 
β
или 
α
нормаль-
ного распределения, поскольку принимает значения из интервала (0, 

). Она также 
нередко возникает при работе с выражениями, содержащими сигмоиды. Название 
softplus объясняется тем, что это сглаженный (смягченный – «softened») вариант 
функции
x
+
= max(0
,
x
)
.
(3.32)
График функции softplus показан на рис. 3.4.
Приведенные ниже свойства настолько полезны, что имеет смысл запомнить их:
(3.33)
(3.34)
1 – 
σ
(
x
) = 
σ
(–
x

(3.35)
log 
σ
(
x
) = –
ζ
(–
x

(3.36)


74 

 
Теория вероятностей и теория информации 
(3.37)
(3.38)

x
> 0, 
ζ
–1
(
x
) = log(exp(
x
) – 1) 
(3.39)
(3.40)
ζ
(
x
) – 
ζ
(–
x
) = 
x
(3.41)
10
8
6
4
2
0
–10
ζ
(
x
)
–5
0
5
10
Рис. 3.4 

Функция softplus
В статистике функция 
σ
–1
(
x
) называется 
logit
, но в машинном обучении этот тер-
мин используется редко.
Формула (3.41) дает еще одно обоснование названия «softplus». Назначение 
функции softplus – служить сглаженным вариантом функции положительной час-
ти 
x
+
= max{0, 
x
}, дополнением к которой является функция отрицательной части 
x

= max{0, –
x
}. Для сглаживания отрицательной части можно взять функцию 
ζ
(–
x
). 
Величину 
x
можно восстановить по положительной и отрицательной частям благо-
даря тождеству 
x
+
– 
x


x
, а в силу тождества (3.41) 
x
можно восстановить также по 
ζ
(
x
) и 
ζ
(–
x
).
3.11. Правило Байеса
Часто возникает ситуация, когда известна вероятность 
P
(y | x), а требуется узнать 
P
(x | y). К счастью, если мы знаем также 
P
(x), то можем вычислить искомую вероят-
ность по 
правилу Байеса
:
(3.42)
Отметим, что в эту формулу входит 
P
(y), но обычно можно вычислить 
P
(y) = 

Σ
x
P
(y | 
x
)
P
(
x
), так что без знания 
P
(y) можно обойтись.
Правило Байеса непосредственно следует из определения условной вероятности, 
но знать название этой формулы полезно, потому что оно часто встречается в различ-
ных публикациях. Формула названа в честь преподобного Томаса Байеса, который 
первым открыл ее частный случай. В общем виде, представленном выше, ее незави-
симо открыл Пьер-Симон Лаплас.


Технические детали непрерывных величин 


Download 14,23 Mb.

Do'stlaringiz bilan baham:
1   ...   74   75   76   77   78   79   80   81   ...   779




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish