Я. Гудфеллоу, И. Бенджио, А. Курвилль

ядерными методами
(Williams and Rasmussen, 1996; Sch
ö
lkopf 
et al., 1999).
Главный недостаток ядерных методов – тот факт, что сложность вычисления 
ре шающей функции линейно зависит от числа обучающих примеров, поскольку 
i
-й пример вносит член 
α
i 
k
(
x
, 
x
(
i
)
) в решающую функцию. В методе опорных векторов 
эта проб лема сглаживается тем, что обучаемый вектор 
α
содержит в основном нули. 
Тогда для классификации нового примера требуется вычислить ядерную функцию 
только для обучающих примеров с ненулевыми 
α
i
. Эти обучающие примеры и назы-
ваются 
опорными векторами
.
Для ядерных методов характерна также высокая стоимость обучения при большом 
наборе данных. Мы вернемся к этому вопросу в разделе 5.9. Ядерные методы с ядрами 
общего вида плохо обобщаются. Почему это так, мы объясним в разделе 5.11. Глубо-
кое обучение в своем современном воплощении предназначено для преодоления этих 
ограничений ядерных методов. Ренессанс глубокого обучения начался с работы Hin-
ton et al. (2006), где было продемонстрировано, что нейронная сеть способна превзой-
ти метод SVM с радиально-базисным ядром на эталонном наборе данных MNIST.

---

132 

 
Основы машинного обучения 
5.7.3. Другие простые алгоритмы обучения с учителем
Мы уже встречались с другим невероятностным алгоритмом обучения с учителем – 
регрессией методом ближайшего соседа. В общем случае для классификации или 
регрессии используется семейство методов с 
k
ближайшими соседями. Будучи не-
параметрическим алгоритмом обучения, метод 
k
ближайших соседей не ограничен 
фиксированным числом параметров. Обычно считается, что этот алгоритм вообще 
не имеет параметров, а реализует простую функцию от обучающих данных. На са-
мом деле в нем даже нет настоящего этапа обучения. Просто на этапе тестирования, 
желая породить выход 
y
для тестового примера