Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
и 
y
– такие, что 
y
= 
g
(
x
), где 
g
– обратимое, непрерывное, дифференцируемое преоб-
разование. Можно было бы ожидать, что 
p
y
(
y
) = 
p
x
(
g
–1
(
y
)). На самом деле это не так.
В качестве простого примера предположим, что имеются скалярные случайные 
величины 
x
и 
y
. Пусть 
y
= 
x
/ 2 и 
x
∼
U
(0, 1). Если бы имело место тождество 
p
y
(
y
) = 
= 
p
x
(2
y
), то 
p
y
было бы равно 0 всюду, кроме отрезка [0, 1/2], и 1 на этом отрезке. Тогда
(3.43)
что противоречит определению распределения вероятности. Это типичная ошибка. 
Проблема в том, что при таком подходе не учитывается искажение пространства, вно-
1
Забавный пример таких множеств дает теорема Банаха–Тарского.

---

76 

 
Теория вероятностей и теория информации 
симое функцией 
g
. Напомним, что вероятность попадания 
x
в бесконечно малую об-
ласть объема 
δ
x
равна 
p
(
x
)
δ
x
. Поскольку 
g
может расширять или сжимать простран-
ство, бесконечно малая окрестность 
x
в пространстве 
x
может иметь другой объем 
в пространстве 
y
.
Чтобы понять, как справиться с этой трудностью, вернемся к скалярному случаю. 
Нам требуется сохранить свойство
|
p
y
(
g
(
x
))
dy
| = |
p
x
(
x
)
dx
|. 
(3.44)
Решая это уравнение, получаем
(3.45)
или эквивалентно
(3.46)
В пространстве более высокой размерности обобщением производной является 
определитель 
матрицы Якоби
: 
J
i
, 
 j
= 
∂
x
i
/
∂
y
j
. Следовательно, для вещественных векто-
ров