Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) и 
f
(
x
) линейное. 
Также линейным является соотношение между 
α
и 
f
(
x
). Основанная на ядре функция 
в точности эквивалентна предварительной обработке путем применения 
ϕ
(
x
) ко всем 
входным данным с последующим обучением линейной модели в новом преобразо-
ванном пространстве.
Трюк с ядром полезен по двум причинам. Во-первых, он позволяет обучать моде-
ли, нелинейно зависящие от 
x
, применяя методы выпуклой оптимизации, о которых 

---

Алгоритмы обучения с учителем 

131
точно известно, что они сходятся эффективно. Это возможно, потому что мы считаем 
ϕ
фиксированным и оптимизируем только 
α
, т. е. алгоритм оптимизации может счи-
тать, что решающая функция линейна, но в другом пространстве. Во-вторых, ядерная 
функция 
k
часто допускает реализацию, значительно более эффективную с вычисли-
тельной точки зрения, чем наивное построение двух векторов 
ϕ
(
x
) и явное вычисле-
ние их скалярного произведения.
В некоторых случаях вектор 
ϕ
(
x
) может быть даже бесконечномерным, что при 
наивном подходе вылилось бы в бесконечно длинное вычисление. Часто 
k
(
x
, 
x
′
) – не-
линейная, но разрешимая функция 
x
, даже если 
ϕ
(
x
) неразрешима. В качестве при-
мера бесконечномерного пространства признаков с разрешимым ядром построим 
отобра жение 
ϕ
(
x
), когда признаки