Я. Гудфеллоу, И. Бенджио, А. Курвилль

y
(test)
.
Один из способов измерения качества модели – вычислить 
среднеквадратиче-
скую ошибку
модели на тестовом наборе. Если вектор 
y
�
(test)
содержит предсказания 
модели на тестовом наборе, то среднеквадратическая ошибка определяется по фор-
муле:
(5.4)
Эта мера ошибки обращается в 0, когда 
y
�
(test)
= 
y
(test)
. Кроме того,
(5.5)
поэтому ошибка тем больше, чем больше евклидово расстояние между предсказани-
ями и метками.
Мы должны спроектировать алгоритм машинного обучения, который улучшает 
веса 
w
таким образом, что MSE
test
уменьшается по мере того, как алгоритм получает 
новый опыт, наблюдая обучающий набор (
X
(train)
, 
y
(train)
). Интуитивно понятный спо-
соб добиться этой цели (мы обоснуем его в разделе 5.5.1) – минимизировать средне-
квадратическую ошибку на обучающем наборе, MSE
train
.
Для минимизации MSE
train
нужно просто приравнять градиент 0 и решить полу-
чившееся уравнение:
∇
w
MSE
train
= 0 
(5.6)
(5.7)
(5.8)
⇒
∇
w 
(
X
(train)
w
– 
y
(train)
)
⏉
(
X
(train)
w
– 
y
(train)
) = 0 
(5.9)
⇒
∇
w
(
w
⏉
X
(train)
⏉
X
(train)
w
– 2
w
⏉
X
(train)
⏉