Я. Гудфеллоу, И. Бенджио, А. Курвилль

3.9.4. Экспоненциальное распределение 
и распределение Лапласа
В контексте глубокого обучения нам часто необходимо распределение вероятно-
сти с острым пиком в точке 
x
= 0. Для этого подходит экспоненциальное распре-
деление:
p
(
x
,
λ
) = 
λ
1
x
≥
0
exp(
–
λ
x
). 
(3.25)
В определении экспоненциального распределения используется индикаторная 
функция 
1
x
≥
0
, равная нулю для всех отрицательных значений 
x
.
С экспоненциальным тесно связано распределение Лапласа, позволяющее распо-
ложить пик массы вероятности в произвольной точке 
μ
:
(3.26)

---

Часто встречающиеся распределения вероятности 

71
3.9.5. Распределение Дирака и эмпирическое распределение
В некоторых случаях мы хотим иметь распределение, в котором вся масса вероят-
ности сосредоточена в одной точке. Для этого можно использовать дельта-функцию 
Дирака 
δ
(
x
):
p
(
x
) = 
δ
(
x
–
μ
).
(3.27)
Дельта-функция Дирака определена таким образом, что равна нулю всюду, кро-
ме точки 0, но тем не менее ее интеграл равен 1. Это не обычная функция, которая 
сопоставляет каждому значению 
x
некоторое вещественное значение, а иной мате-
матический объект – 
обобщенная функция
, определяемая в терминах свойств ин-
тег рируемости. Дельта-функцию Дирака можно представлять себе как предел по-
следовательности функций, которые оставляют все меньше и меньше массы во всех 
точках, кроме нуля.
Определив 
p
(
x
) как сдвиг 
δ
на величину –
μ
, мы получили бесконечно узкий и бес-
конечно высокий пик массы вероятности в точке 
x
= 
μ
.
Дельта-распределение Дирака часто применяется в качестве компоненты