Я. Гудфеллоу, И. Бенджио, А. Курвилль

 

Гладкость.
Это предположение о том, что 
f
(
x 
+ 
ε
d
) 
≈
f
(
x
) для единичного век-
тора 
d
и малого 
ε
. Благодаря ему обучаемая модель может обобщаться на точки 
в пространстве входов, близкие к обучающим примерам. Эта идея эксплуати-
руется во многих алгоритмах машинного обучения, но ее недостаточно для 
преодоления проклятия размерности.
 

Линейность.
Во многих алгоритмах машинного обучения предполагается, что 
связи между некоторыми переменными линейны. Это позволяет алгоритму да-
вать предсказания даже в областях, очень далеких от наблюдаемых данных, но 
иногда предсказания получаются излишне экстремальными. В большинстве 
простых алгоритмов, не предполагающих гладкости, делается предположение 
о линейности. В действительности это разные предположения – линейные 
функции с большими весами, применяемые в пространствах высокой размер-
ности, могут быть не слишком гладкими. Дальнейшее обсуждение ограниче-
ний предположения о линейности см. в работе Goodfellow et al. (2014b).
 

Несколько объясняющих факторов. 
В основе многих алгоритмов обучения пред-
ставлений лежит предположение о множественности факторов, объясняю щих 
данные, и о том, что большинство задач легко решается, если известно состоя-
ние каждого фактора. В разделе 15.3 описано, как такой взгляд на вещи обосно-
вывает обучение с частичным привлечением учителя посредством обучения 
представлений. Чтобы обучиться структуре 
p
(
x
), нужно обучиться некоторым 
признакам, полезным для моделирования 
p
(
y
| 
x
), потому что то и другое за-
висит от одних и тех же объясняющих факторов. В разделе 15.4 описано, как 
этот взгляд обосновывает использование распределенных представлений, ког-
да разные направления в пространстве представлений соответствуют разным 
факторам вариативности.