Я. Гудфеллоу, И. Бенджио, А. Курвилль

5.8.1. Метод главных компонент
В разделе 2.12 мы видели, что метод главных компонент позволяет сжимать данные. 
PCA можно рассматривать как алгоритм обучения без учителя, который ищет пред-
ставление данных, основанное на двух из трех описанных выше критериев простого 
представления. PCA обучает представление, имеющее меньшую размерность, чем ис-
ходное. Кроме того, в этом представлении между элементами нет линейной корреля-
ции. Это первый шаг к нахождению представления со статистически независимыми 
элементами. Чтобы полностью избавиться от зависимостей, алгоритм обучения дол-
жен удалить также нелинейные связи между переменными.
20
10
0
–10
–20
20
10
0
–10
–20
–20
–20
–10
–10
0
0
10
10
20
20
х
1
х
1
х
2
х
2
Рис. 5.8 

Результатом PCA являются проекции на прямые, параллель-
ные направлению наибольшей дисперсии. Они становятся осями нового 
пространства. (
Слева
) Исходные данные содержат выборку из 
x
. В этом 
пространстве дисперсия может быть максимальна вдоль прямых, не па-
раллельных осям. (
Справа
) После преобразования 
z
= 
x
⏉
W
наибольшее 
изменение сосредоточено вдоль оси 
z
1
. Направление второй по величине 
дисперсии стало осью 
z
2
PCA находит ортогональное линейное преобразование, переводящее входные 
данные 
x
в представление 
z
, как показано на рис. 5.8. В разделе 2.12 мы видели, что 
можно обучить одномерное представление, наилучшим образом реконструирующее 

---