Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
(train)
+ 
y
(train)
⏉
y
(train)
) = 0 
(5.10)
⇒
2
X
(train)
⏉
X
(train)
w
– 2
X
(train)
⏉
y
(train)
= 0 
(5.11)
⇒
w
= (
X
(train)
⏉
X
(train)
)
–1
X
(train)
⏉
y
(train)
(5.12)
Система уравнений, решение которой дает формула (5.12), называется 
нормаль-
ными уравнениями
. Вычисление выражения (5.12) и есть простой алгоритм обуче-
ния. На рис. 5.1 показан алгоритм обучения линейной регрессии в действии.
Отметим, что термином 
линейная регрессия
часто обозначают несколько более 
сложную модель с одним дополнительным параметром – свободным членом 
b
. В этой 
модели
y
�
= 
w
⏉
x
+ 
b
,
 
(5.13)

---

Емкость, переобучение и недообучение 

105
поэтому отображение параметров на предсказания по-прежнему описывается линей-
ной функцией, но отображение признаков на предсказания теперь является аффин-
ной функцией. Это обобщение означает, что график предсказанной модели – прямая, 
которая не обязана проходить через начало координат. Вместо добавления параметра 
b
можно продолжать пользоваться моделью одних лишь весов, но дополнить вектор 
x
элементом, который всегда равен 1. Вес, соответствующий этому элементу, играет 
роль свободного члена. В этой книге мы часто будем употреблять термин «линей-
ный» в применении к аффинным функциям.
Пример линейной регрессии
Оптимизация 
w
3
2
1
0
–1
–2
–3
–1,0 –0,5 0,0
0,5
0,5
1,0
1,0
1,5
x
1
w
1
y
0,55
0,50
0,45
0,40
0,35
0,30
0,25
0,20
MSE
(train)
Рис. 5.1 

Задача линейной регрессии, в которой обучающий набор со-
стоит из десяти примеров, по одному признаку в каждом. Поскольку признак 
всего один, вектор весов 
w
содержит единственный подлежащий обуче нию 
параметр 
w
1
. (
Слева
) Модель линейной регрессии обучила вес 
w
1
, так что 
прямая 
y
= 
w
1
x
проходит максимально близко ко всем обучающим приме-
рам. (
Справа
) Точка на графике соответствует значению 
w
1
, найденному из 
нормальных уравнений, которое, как мы видим, минимизирует среднеквад-
ратическую ошибку на обучающем наборе
Свободный член 
b
часто называют параметром 
смещения
(bias) аффинного преоб-
разования. Это связано с тем, что результат преобразования смещается в сторону 
b
, 
если входных данных нет вообще. Это словоупотребление не имеет ничего общего со 
статистическим смещением, когда оценка некоторой величины, полученная алгорит-
мом статистического оценивания, не совпадает с истинным значением.
Конечно, линейная регрессия – очень простой и ограниченный алгоритм обучения, 
но он дает представление о том, как такие алгоритмы могут работать. В последующих