Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) 
≈
f 
*
(
x
+ 
ε
) 
(5.103)
для большинства конфигураций 
x
и небольшого изменения 
ε
. Иными словами, если 
мы знаем хороший ответ для входа 
x
(например, если 
x
– помеченный обучающий 
пример), то этот ответ, вероятно, будет хорошим и в окрестности 
x
. Если в некоторой 
окрестности есть несколько хороших ответов, то можно скомбинировать их (путем 
какой-то формы усреднения или интерполяции) и получить ответ, согласующийся 
с большинством вариантов.
Крайнее проявление подхода на основе локального постоянства – алгоритмы 
обуче ния на основе 
k
ближайших соседей. Такие предикторы действительно посто-
янны в области, содержащей все точки 
x
с одним и тем же множеством 
k
ближайших 
соседей из обучающего набора. Для 
k
= 1 число различимых областей не может пре-
вышать количество обучающих примеров.
Если алгоритм 
k
ближайших соседей формирует выход, копируя близкие обучаю-
щие примеры, то большинство ядерных методов выполняет интерполяцию меток 
близких примеров. Важным классом ядер является семейство 
локальных ядер
, для ко-
торых 
k
(
u
, 
v
) велико, если 
u
= 
v
, и убывает мере роста расстояния между 
u
и 
v
. Локаль-
ное ядро можно представлять себе как функцию сходства, которая производит сравне-
ние с образцом, измеряя сходство между тестовым примером 
x
и каждым обучаю щим 
примером 
x
(
i
)
. На развитие глубокого обучения в немалой степени повлия ло изучение 
ограничений локального сравнения с образцом и того, как глубокие модели могут до-
биться успеха там, где этот метод терпит неудачу (Bengio et al., 2006b).
Решающие деревья также подвержены ограничениям обучения, основанного толь-
ко на предположении о гладкости, поскольку разделяют пространство на столько 
областей, сколько имеется листьев, и используют отдельный параметр (а в случае 
обобщений случайных деревьев – несколько параметров) в каждой области. Если для 
верного представления выходной функции требуется дерево, имеющее как минимум 
n
листьев, то для построения такого дерева нужно, по крайней мере, 
n
обучающих 
примеров. А для обеспечения хоть какой-то статистической уверенности в предска-
заниях дерева примеров нужно в несколько раз больше 
n
.
В общем случае для различения 
O
(
k
) областей в пространстве входов всем этим 
методам нужно 
O
(
k
) примеров. Как правило, существует 
O
(
k
) параметров, и с каждой 
областей ассоциировано 
O
(1) параметров. На рис. 5.10 показан случай использова-

---