Я. Гудфеллоу, И. Бенджио, А. Курвилль

Σ
2
). А отсюда сразу вытекает, что взаимная 
корреляция отдельных элементов 
z
равна нулю.
Это свойство PCA – преобразовывать данные в представление с взаимно не кор-
релированными элементами – очень важно. Оно дает простой пример представления, 
пытающегося 
разделить неизвестные факторы вариативности 
данных. В случае 
PCA разделение сводится к поиску такого вращения пространства входных данных 
(описываемого матрицей 
W
), которое делает главные оси дисперсии базисом нового 
пространства представления 
z
.
Хотя корреляция – важная категория зависимостей между элементами данных, 
при обучении представлений нам также интересно разделить более сложные виды 
зависимостей между признаками, не исчерпывающимися простыми линейными пре-
образованиями.
5.8.2. Кластеризация методом 
k
средних
Еще один пример простого алгоритма обучения представлений дает кластеризация 
методом 
k
средних. Этот алгоритм разбивает обучающий набор на 
k
кластеров, содер-
жащих близкие примеры. Можно считать, что этот алгоритм вырабатывает 
k
-мерный 
унитарный кодовый вектор 
h
, представляющий вход 
x
. Если 
x
принадлежит 
i
-му 
клас теру, то 
h
i
= 1, а все остальные элементы 
h
равны 0. 
Унитарный код, порождаемый кластеризацией методом 
k
средних, – пример разре-
женного представления, поскольку для каждого входного примера большинство эле-
ментов представления равно нулю. Впоследствии мы разработаем другие алгоритмы, 
вырабатывающие более гибкие разреженные представления, в которых ненулевыми 
может быть несколько элементов. Унитарный код – крайний случай разреженного 
представления, в котором утрачены многие преимущества распределенных представ-
лений. Но все же у него есть некоторые статистические достоинства (он естествен-
но передает идею о том, что все примеры из одного кластера похожи друг на друга), 
а также чисто вычислительное преимущество: все представление можно выразить 
одним целым числом.
В начале работы алгоритма инициализируется 
k
различных центроидов 
{