Я. Гудфеллоу, И. Бенджио, А. Курвилль

μ
(1)
, …, 
μ
(
k
)
}, а затем поочередно выполняются два шага до достижения сходимости. 
На одном шаге каждый обучающий пример относится к 
i
-му кластеру, где 
i
– индекс 
ближайшего центроида 
μ
(
i
)
. На другом шаге каждому центроиду 
μ
(
i
)
присваивается 
значение, равное среднему всех отнесенных к 
i
-му кластеру примеров 
x
(
j
)
.
Одной из проблем является тот факт, что задача кластеризации некорректно по-
ставлена в том смысле, что не существует однозначного критерия, позволяющего су-

---

138 

 
Основы машинного обучения 
дить, в какой мере найденная кластеризация данных соответствует реальности. Мы 
можем измерить такие свойства кластеризации, как среднее евклидово расстояние от 
центроида кластера до его членов. Это позволит сказать, насколько хорошо можно 
реконструировать обучающие данные по отнесению к кластерам. Но мы не знаем, на-
сколько хорошо отнесение примеров к кластерам отражает свойства реального мира. 
Более того, может существовать несколько разных способов кластеризации, одинако-
во хорошо описывающих реальный мир. Быть может, мы надеялись найти кластери-
зацию, относящуюся к одному признаку, а нашли совсем другую, не менее хорошую 
кластеризацию, не имеющую ни малейшего отношения к нашей задаче. Предполо-
жим, к примеру, что мы выполнили два разных алгоритма кластеризации для на-
бора данных, содержащего изображения красных грузовиков, красных легковушек, 
серых грузовиков и серых легковушек. Если мы попросим каждый алгоритм найти 
два кластера, то один может найти кластер грузовиков и кластер легковушек, а дру-
гой – кластеры красных и серых транспортных средств. Допустим, есть еще и третий 
алгоритм, умеющий сам определять число кластеров. Он может отнести примеры 
к четырем кластерам: красные легковушки, красные грузовики, серые легковушки, 
серые грузовики. Новая кластеризация улавливает оба атрибута, но теряет информа-
цию о сходстве. Красные легковушки не попали ни в кластер серых легковушек, ни 
в кластер серых грузовиков. Результат этого алгоритма ничего не говорит о том, что 
красные легковушки больше похожи на серые легковушки, чем на серые грузовики. 
Они отличаются и от того, и от другого, но это все, что мы знаем.
Эти проблемы иллюстрируют причины, по которым распределенное представле-
ние может оказаться лучше унитарного. В распределенном представлении можно 
было бы хранить два атрибута для каждого транспортного средства: цвет и тип (гру-
зовик или легковушка). По-прежнему не ясно, какое распределенное представление 
оптимально (как алгоритм обучения мог бы узнать, что нас интересует цвет и тип, 
а не, скажем, производитель и возраст машины?), но хранение нескольких атрибутов, 
по крайней мере, позволяет алгоритму не гадать, какой единственный атрибут нас 
интересует, и дает возможность измерять сходство между объектами более детально, 
сравнивая многие атрибуты, а не просто проверяя совпадение одного единственного.