Я. Гудфеллоу, И. Бенджио, А. Курвилль

7.1. Штрафы по норме параметров
Регуляризация применялась в течение десятков лет до изобретения глубокого обуче-
ния. Такие линейные модели, как линейная регрессия и логистическая регрессия, до-
пускают простые и эффективные стратегии регуляризации.
Многие подходы к регуляризации основаны на ограничении емкости моделей 
(нейронных сетей, линейной регрессии или логистической регрессии) путем прибав-
ления штрафа по норме параметра 
Ω
(
θ
) к целевой функции 
J
. Мы будем обозначать 
регуляризованную целевую функцию 
J
~
:
J
~
(
θ
; 
X
, 
y
) = 
J
(
θ
; 
X
, 
y
) + 
α
Ω
(
θ
), 
(7.1)
где 
α
∈
[0, 
∞
) – гиперпараметр, задающий вес члена 
Ω
, штрафующего по норме, от-
носительно стандартной целевой функции 
J
. Если 
α
равен 0, то регуляризация отсут-
ствует. Чем больше значение 
α
, тем сильнее регуляризация. 
Минимизируя регуляризованную целевую функцию 
J
~
, наш алгоритм обучения 
одновременно уменьшает исходную целевую функцию 
J
на обучающих данных и не-
которую меру величины параметров 
θ
(или какого-то подмножества параметров). 

---

Штрафы по норме параметров 

201
В зависимости от выбора нормы параметров предпочтительными будут те или иные 
решения. В этом разделе мы обсудим влияние различных норм, используемых для 
штрафования параметров модели.
Прежде чем с головой погрузиться в обсуждение различных норм с точки зрения 
регуляризации, отметим, что в нейронных сетях мы обычно предпочитаем штрафо-
вать по норме 
только веса
аффинного преобразования в каждом слое, оставляя сме-
щения нерегуляризированными. Для точного подбора смещений, как правило, тре-
буется меньше данных, чем для весов. Каждый вес описывает взаимодействие двух 
переменных. Для правильного подбора веса требуются результаты наблюдений этих 
переменных в разных обстоятельствах. Каждое смещение контролирует только одну 
переменную. Поэтому, игнорируя регуляризацию смещений, мы не слишком сильно 
увеличим дисперсию. Кроме того, регуляризация параметров смещения может стать 
причиной значительного недообучения. Далее вектор