Я. Гудфеллоу, И. Бенджио, А. Курвилль

15.4. Распределенное представление
Распределенные представления концепций, т. е. представления, составленные из не-
скольких элементов, которые можно задавать независимо друг от друга, – один из 
самых важных инструментов обучения представлений. Связано это с тем, что рас-
пределенное представление дает возможность использовать 
n
признаков с 
k
значе-
ниями для описания 
k
n
различных концепций. Как мы уже не раз видели в этой книге, 
и в нейронных сетях с несколькими скрытыми блоками, и в вероятностных моделях 
с несколькими латентными переменными используется стратегия распределенных 
представлений. Теперь добавим еще одно наблюдение. В основе многих алгоритмов 

---

460 

 
Обучение представлений 
глубокого обучения лежит предположение, что скрытые блоки можно обучить пред-
ставлениям каузальных факторов, объясняющих данные, как описано в разделе 15.3. 
При таком подходе распределенные представления возникают естественно, потому 
что каждому направлению в пространстве представления можно поставить в соот-
ветствие значение отдельной обусловливающей конфигурационной переменной.
Примером распределенного представления является вектор 
n
бинарных призна-
ков, принимающий 2
n
значений, каждому из которых может соответствовать отдель-
ная область пространства входов, как показано на рис. 15.7. Это можно сравнить 
с 
символическим представлением
, в котором вход ассоциирован с одним символом 
или категорией. Если словарь содержит 
n
символов, то можно представить себе 
n
де-
текторов признаков, каждый из которых определяет присутствие ассоциированной 
категории. В этом случае возможно только 
n
различных конфигураций простран-
ства представления, вырезающих 
n
областей в пространстве входов, как показано 
на рис. 15.8. Такое символическое представление называется унитарным, поскольку 
описывается бинарным вектором, в котором единичным может быть только один из 
n
бит. Символическое представление – частный случай более широкого класса не-
распределенных представлений, которые могут состоять из многих элементов, но не 
допускают осмысленного контроля над каждым из них.
Ниже приведено несколько примеров алгоритмов обучения, основанных на нерас-
пределенных представлениях.