Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
– 
x
ˆ||
2
], 
(13.21)
соответствует 
V
= 
W
, 
μ
= 
b
= 
𝔼
[
x
], а столбцы матрицы 
W
образуют ортонормирован-
ный базис, определяющий то же подпространство, что и главные собственные векто-
ры ковариационной матрицы
C
= 
𝔼
[(
x
– 
μ
)(
x
– 
μ
)
⏉
]. 
(13.22)
В случае PCA столбцами 
W
являются эти собственные векторы, упорядоченные 
по абсолютной величине соответствующих собственных значений (которые все ве-
щественные и неотрицательные).

---

Интерпретация PCA в терминах многообразий 

421
Рис. 13.3 

Плоское нормальное распределение с высокой концентраци-
ей вероятности в окрестности многообразия низкой размерности. На ри-
сунке показана верхняя половина «блина» над «плоскостью многообразия», 
проходящей через его середину. Дисперсия в направлении, ортогональном 
многообразию, очень мала (стрелка в направлении наружу от плоскости) 
и может считаться «шумом», тогда как дисперсии в других направлениях 
(стрелки внутри плоскости) велики и соответствуют «сигналу» и определя-
ют систему координат для данных пониженной размерности
Можно также показать, что собственное значение 
λ
i
матрицы 
C
соответствует дис-
персии 
x
в направлении собственного вектора 
v
(
i
)
. Если 
x
∈
ℝ
D
, 
h
∈
ℝ
d
и 
d
< 
D
, то 
оптимальная ошибка реконструкции (при указанном выше выборе