выходит на плато
, т. е. становится очень плоской и малочувствительной
к небольшим изменениям аргумента.
σ
(
x
)
1,0
0,8
0,6
0,4
0,2
0,0
–10
–5
0
5
10
Рис. 3.3
Логистическая сигмоида
Часто встречается также
функция softplus
(Dugas et al., 2001):
ζ
(
x
) = log (1 + exp(
x
))
.
(3.31)
Эта функция может быть полезна для порождения параметра
β
или
α
нормаль-
ного распределения, поскольку принимает значения из интервала (0,
∞
). Она также
нередко возникает при работе с выражениями, содержащими сигмоиды. Название
softplus объясняется тем, что это сглаженный (смягченный – «softened») вариант
функции
x
+
= max(0
,
x
)
.
(3.32)
График функции softplus показан на рис. 3.4.
Приведенные ниже свойства настолько полезны, что имеет смысл запомнить их:
(3.33)
(3.34)
1 –
σ
(
x
) =
σ
(–
x
)
(3.35)
log
σ
(
x
) = –
ζ
(–
x
)
(3.36)
74
Теория вероятностей и теория информации
(3.37)
(3.38)
∀
x
> 0,
ζ
–1
(
x
) = log(exp(
x
) – 1)
(3.39)
(3.40)
ζ
(
x
) –
ζ
(–
x
) =
x
(3.41)
10
8
6
4
2
0
–10
ζ
(
x
)
–5
0
5
10
Рис. 3.4
Функция softplus
В статистике функция
σ
–1
(
x
) называется
logit
, но в машинном обучении этот тер-
мин используется редко.
Формула (3.41) дает еще одно обоснование названия «softplus». Назначение
функции softplus – служить сглаженным вариантом функции положительной час-
ти
x
+
= max{0,
x
}, дополнением к которой является функция отрицательной части
x
–
= max{0, –
x
}. Для сглаживания отрицательной части можно взять функцию
ζ
(–
x
).
Величину
x
можно восстановить по положительной и отрицательной частям благо-
даря тождеству
x
+
–
x
–
=
x
, а в силу тождества (3.41)
x
можно восстановить также по
ζ
(
x
) и
ζ
(–
x
).
3.11. Правило Байеса
Часто возникает ситуация, когда известна вероятность
P
(y | x), а требуется узнать
P
(x | y). К счастью, если мы знаем также
P
(x), то можем вычислить искомую вероят-
ность по
правилу Байеса
:
(3.42)
Отметим, что в эту формулу входит
P
(y), но обычно можно вычислить
P
(y) =
=
Σ
x
P
(y |
x
)
P
(
x
), так что без знания
P
(y) можно обойтись.
Правило Байеса непосредственно следует из определения условной вероятности,
но знать название этой формулы полезно, потому что оно часто встречается в различ-
ных публикациях. Формула названа в честь преподобного Томаса Байеса, который
первым открыл ее частный случай. В общем виде, представленном выше, ее незави-
симо открыл Пьер-Симон Лаплас.
Технические детали непрерывных величин
Do'stlaringiz bilan baham: |