Я. Гудфеллоу, И. Бенджио, А. Курвилль

 

Каузальные факторы.
Модель строится так, чтобы факторы вариативности, 
описываемые обученным представлением 
h
, рассматривались как причины 
наблю даемых данных 
x
, а не наоборот. Как было сказано в разделе 15.3, это 
полезно для обучения с частичным привлечением учителя и делает обученную 
модель более устойчивой, когда распределение причин изменяется или когда 
модель применяется к решению новой задачи.
 

Глубина, или иерархическая организация объясняющих факторов.
Высокоуров-
невые абстрактные концепции можно определить в терминах более простых 
концепций, образующих иерархию. С иной точки зрения, использование глу-
бокой архитектуры выражает нашу веру в то, что задачу следует решать с по-
мощью многошаговой программы, каждый шаг которой опирается на результа-
ты обработки, произведенной на предыдущих шагах.

---

468 

 
Обучение представлений 
 

Факторы, разделяемые между задачами.
Когда имеется много задач, соответ-
ствующих разным переменным y
i
, разделяющим общий вход 
x
, или когда каждая 
задача ассоциирована с подмножеством или функцией 
f
(
i
)
(
x
) глобального входа 
x
, предполагается, что каждая y
i
ассоциирована со своим подмножеством обще-
го пула релевантных факторов 
h
. Поскольку эти подмножества пересекаются, 
обуче ние всех 
P
(y
i
| 
x
) посредством промежуточного разделяемого представле-
ния 
P
(
h
| 
x
) дает возможность разделить статистическую силу между задачами.
 

Многообразия.
Масса вероятности имеет тенденцию концентрироваться, а обла-
сти, в которых она концентрируется, локально связны и занимают очень малый 
объем. В непрерывном случае эти области можно аппроксимировать многооб-
разиями гораздо меньшей размерности, чем исходное пространство данных. 
Многие алгоритмы машинного обучения разумно ведут себя только на таком 
многообразии (Goodfellow et al., 2014b). Некоторые алгоритмы, особенно авто-
кодировщики, пытаются явно обучиться структуре такого многообразия.
 

Естественная кластеризация.
Во многих алгоритмах машинного обучения 
предполагается, что каждому связному многообразию в пространстве входов 
можно сопоставить один класс. Данные могут располагаться на нескольких 
несвязных многообразиях, но внутри каждого из них класс остается постоян-
ным. Это предположение лежит в основе разнообразных алгоритмов обучения, 
включая касательное распространение, двойное обратное распространение, 
классификатор по касательной к многообразию и состязательное обучение.
 

Временная и пространственная когерентность.
Анализ медленных признаков 
и родственные алгоритмы предполагают, что наиболее важные объясняющие 
факторы изменяются во времени медленно или, по крайней мере, что истин-
ные объясняющие факторы предсказать легче, чем сами наблюдения, напри-
мер значения пикселей. Дополнительные детали см. в разделе 13.3.
 

Разреженность.
Предполагается, что большинство признаков не должно быть 
релевантно описанию большинства входов, т. е. нет нужды использовать при-
знак, обнаруживающий большегрузный грузовик, если мы представляем 
изобра жение кошки. Поэтому разумно наложить априорное ограничение: лю-
бой признак, который можно интерпретировать как «присутствует» или «от-
сутствует», в большинстве случаев принимает значение «отсутствует».
 

Простота зависимостей между факторами.
В хорошем высокоуровневом 
представлении факторы связаны между собой простыми зависимостями. 
Прос тейшая из них – безусловная независимость, 
P
(