Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
), который отдает предпочтение весам с меньшим квадратом 
нормы 
L
2
. Точнее,
J
(
w
) = MSE
train
+ 
λ
w
⏉
w
,
 
(5.18)
где 
λ
– заранее выбранное значение, задающее силу предпочтения малых весов. При 
λ
= 0 никаких предпочтений нет, а чем больше 
λ
, тем сильнее стремление к малым 
весам. В процессе минимизации 
J
(
w
) выбираются веса, выражающие компромисс 
между аппроксимацией обучающих данных и малостью весов. Это дает решение, 
для которого либо угловой коэффициент меньше, либо веса назначаются меньшему 
числу признаков. В качестве примера того, как можно управлять тенденцией модели 
к переобучению или недообучению с помощью снижения весов, мы обучили поли-
номиальную модель регрессии высокой степени с разными значениями 
λ
. Результат 
показан на рис. 5.5.
Переобучение (
λ
⟶0)
Недообучение
(
λ
слишком велико)
Подходящее снижение весов 
(Среднее 
λ
)
y
y
y
х
0
х
0
х
0
Рис. 5.5 

Аппроксимация обучающего набора, показанного на рис. 5.2, 
полиномиальной моделью регрессии высокой степени. Истинная функция 
квадратичная, но мы здесь используем только модели степени 9. Мы варьи-
руем степень снижения весов, чтобы предотвратить переобучение моде-
ли высокой степени. (
Слева
) Выбрав 
λ
очень большим, можно заставить 
модель обучить функцию вообще без наклона. Такая модель недообучена, 
поскольку может представить только постоянную функцию. (
В центре
) При 
среднем значении 
λ
алгоритм обучения реконструирует кривую примерно 
правильной формы. И хотя модель способна представить функции гораздо 
более сложной формы, из-за снижения веса она вынуждена использовать 
более простые функции с малыми весовыми коэффициентами. (
Справа
) 
Когда 
λ
приближается к нулю (т. е. регуляризация минимальна, и мы исполь-
зуем псевдообратную матрицу Мура–Пенроуза для решения недоопреде-
ленной задачи), многочлен степени 9 оказывается сильно переобученным, 
что мы уже видели на рис. 5.2

---