Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
Пространство обученных 
параметров 
h
1
1
1
1
0
0
0
0
х
2
х
2
х
1
х
1
Рис. 6.1 

Решение задачи о функции XOR путем обучения представле-
ния. Жирными цифрами обозначены значения, которые обученная функция 
должна вывести в каждой точке. (
Слева
) Линейная модель, применяемая 
непосредственно к входным данным, неспособна реализовать функцию 
XOR. При 
x
1
= 0
выход модели должен возрастать с ростом 
x
2
. При 
x
1
= 1
вы-
ход модели должен убывать с ростом 
x
2
. В линейной модели должен быть 
фиксированный коэффициент между 
w
2
и 
x
2
. Поэтому линейная модель не 
может использовать значение 
x
1
для изменения коэффициента при 
x
2
и, 
стало быть, не в состоянии решить задачу. (
Справа
) В преобразованном 
пространстве признаков, выделяемых нейронной сетью, линейная модель 
может решить задачу. В нашем случае обе точки, которые должны выводить 
1, схлопнуты в одну точку пространства признаков. Иными словами, нели-
нейное преобразование отображает точки 
x
= [1, 0]
⏉
и 
x
= [0, 1]
⏉
в одну точку 
пространства признаков 
h
= [1, 0]
⏉
. Теперь линейная модель может описать 
функцию, возрастающую относительно 
h
1
и убывающую относительно 
h
2
. 
В этом примере причиной для обучения в пространстве признаков было 
всего лишь желание увеличить емкость модели, так чтобы она могла ап-
проксимировать обучающий набор. В реальных приложениях обученное та-
ким образом представление способствует лучшей обобщаемости модели
Теперь можно определить всю сеть целиком:
f
(