Я. Гудфеллоу, И. Бенджио, А. Курвилль

 

Методы кластеризации, включая алгоритм 
k
средних: каждая входная точка 
относится ровно к одному кластеру.
 

Алгоритмы 
k
ближайших соседей: с заданным входом ассоциируется один или 
несколько примеров-прототипов, или шаблонов. Если 
k
> 1, то каждый вход 
описывается несколькими значениями, но ими нельзя управлять независимо, 
поэтому по-настоящему распределенным такое представление назвать нельзя.
 

Решающие деревья: для каждого входа активируется только один листовый 
узел (и все узлы на пути к нему от корня).
 

Гауссовы смеси и коллективы экспертов: шаблоны (центры кластеров), или 
эксперты теперь ассоциируются со 
степенью активации
. Как и в случае алго-
ритма 
k
ближайших соседей, каждый вход представляется несколькими значе-
ниями, но управлять ими по отдельности невозможно.
 

Ядерные методы с гауссовым (или другим локальным) ядром: хотя степень 
активации каждого «опорного вектора», или примера-шаблона теперь непре-
рывна, возникают те же проблемы, что с гауссовыми смесями.
 

Модели языка или перевода, основанные на 
n
-граммах: множество контекстов 
(последовательностей символов) разбивается в соответствии со структурой 
суффиксного дерева. Листовый узел может соответствовать, например, кон-
тексту, в котором два последних слова равны 
w
1
и 
w
2
. Для каждого листового 
узла вычисляется своя оценка параметров (при этом возможно некоторое раз-
деление параметров).
Для некоторых из описанных нераспределенных алгоритмов выход для каждой 
части не постоянный, а является интерполяцией выходов соседних областей. Связь 
между числом параметров (или примеров) и числом определяемых ими областей 
остается линейной.

---

Распределенное представление 
