Я. Гудфеллоу, И. Бенджио, А. Курвилль

выходит на плато
, т. е. становится очень плоской и малочувствительной 
к небольшим изменениям аргумента.
σ
(
x
)
1,0
0,8
0,6
0,4
0,2
0,0
–10
–5
0
5
10
Рис. 3.3 

Логистическая сигмоида
Часто встречается также 
функция softplus
(Dugas et al., 2001):
ζ
(
x
) = log (1 + exp(
x
))
.
(3.31)
Эта функция может быть полезна для порождения параметра 
β
или 
α
нормаль-
ного распределения, поскольку принимает значения из интервала (0, 
∞
). Она также 
нередко возникает при работе с выражениями, содержащими сигмоиды. Название 
softplus объясняется тем, что это сглаженный (смягченный – «softened») вариант 
функции
x
+
= max(0
,
x
)
.
(3.32)
График функции softplus показан на рис. 3.4.
Приведенные ниже свойства настолько полезны, что имеет смысл запомнить их:
(3.33)
(3.34)
1 – 
σ
(
x
) = 
σ
(–
x
) 
(3.35)
log 
σ
(
x
) = –
ζ
(–
x
) 
(3.36)

---

74 

 
Теория вероятностей и теория информации 
(3.37)
(3.38)
∀
x
> 0, 
ζ
–1
(
x
) = log(exp(
x
) – 1) 
(3.39)
(3.40)
ζ
(
x
) – 
ζ
(–
x
) = 
x
(3.41)
10
8
6
4
2
0
–10
ζ
(
x
)
–5
0
5
10
Рис. 3.4 

Функция softplus
В статистике функция 
σ
–1
(
x
) называется 
logit
, но в машинном обучении этот тер-
мин используется редко.
Формула (3.41) дает еще одно обоснование названия «softplus». Назначение 
функции softplus – служить сглаженным вариантом функции положительной час-
ти 
x
+
= max{0, 
x
}, дополнением к которой является функция отрицательной части 
x
–
= max{0, –
x
}. Для сглаживания отрицательной части можно взять функцию 
ζ
(–
x
). 
Величину 
x
можно восстановить по положительной и отрицательной частям благо-
даря тождеству 
x
+
– 
x
–
= 
x
, а в силу тождества (3.41) 
x
можно восстановить также по 
ζ
(
x
) и 
ζ
(–
x
).
3.11. Правило Байеса
Часто возникает ситуация, когда известна вероятность 
P
(y | x), а требуется узнать 
P
(x | y). К счастью, если мы знаем также 
P
(x), то можем вычислить искомую вероят-
ность по 
правилу Байеса
:
(3.42)
Отметим, что в эту формулу входит 
P
(y), но обычно можно вычислить 
P
(y) = 
= 
Σ
x
P
(y | 
x
)
P
(
x
), так что без знания 
P
(y) можно обойтись.
Правило Байеса непосредственно следует из определения условной вероятности, 
но знать название этой формулы полезно, потому что оно часто встречается в различ-
ных публикациях. Формула названа в честь преподобного Томаса Байеса, который 
первым открыл ее частный случай. В общем виде, представленном выше, ее незави-
симо открыл Пьер-Симон Лаплас.

---

Технические детали непрерывных величин 
