Я. Гудфеллоу, И. Бенджио, А. Курвилль

136 

 
Основы машинного обучения 
исходные данные (в смысле среднеквадратической ошибки), и что это представле-
ние на самом деле соответствует первой главной компоненте данных. Следовательно, 
мы можем использовать PCA как простой и эффективный метод понижения размер-
ности, который сохраняет столько присутствующей в данных информации, сколько 
возможно (опять же на основе измерения ошибки реконструкции по методу наимень-
ших квадратов). Ниже мы изучим, как представление PCA устраняет корреляцию из 
исходного представления 
X
.
Рассмотрим матрицу плана 
X
размера 
m
×
n
. Будем предполагать, что математиче-
ское ожидание данных 
𝔼
[
x
] = 
0
. Если это не так, центрирования легко добиться, выч-
тя среднее из всех примеров на этапе предварительной обработки.
Несмещенная выборочная ковариационная матрица, ассоциированная с 
X
, опре-
деляется по формуле
(5.85)
PCA находит представление (посредством линейного преобразования) 
z
= 
W
⏉
x
, 
для которого Var[
z
] – диагональная матрица.
В разделе 2.12 мы видели, что главные компоненты матрицы плана 
X
определяют-
ся собственными векторами 
X
⏉
X
. Таким образом,
X
⏉
X
= 
W
Λ
W
⏉
.
(5.86)
В этом разделе мы по-другому подойдем к выводу главных компонент. Их можно 
получить также путем сингулярного разложения (SVD). Точнее, это правые сингу-
лярные векторы 
X
. Чтобы убедиться в этом, предположим, что