Я. Гудфеллоу, И. Бенджио, А. Курвилль

w
~
для 
L
2
-регуляризации. Применив к нему предположение о диагональности 
и положительной определенности гессиана 
H
, которое мы приняли для анализа 
L
1
-ре-
гуляризации, найдем, что
Если 
w
i
*
было не равно 0, то и 
w~
i
окажется не
равным нулю. Это значит, что 
L
2
-регуляризация не приводит к разреженности пара-
метров, тогда как в случае 
L
1
-регуляризации это возможно, если 
α
достаточно велико.
Свойство разреженности, присущее 
L
1
-регуляризации, активно эксплуатирова-
лось как механизм 
отбора признаков
, идея которого состоит в том, чтобы упростить 
задачу машинного обучения за счет выбора некоторого подмножества располагаемых 
признаков. В частности, хорошо известная модель LASSO (Tibshirani, 1995) (least 
absolute shrinkage and selection operator) объединяет 
L
1
-штраф с линейной моделью 
и среднеквадратической функцией стоимости. Благодаря 
L
1
-штрафу некоторые веса 
обращаются в 0, и соответствующие им признаки отбрасываются.
В разделе 5.6.1 мы видели, что многие стратегии регуляризации можно интерпре-
тировать как байесовский вывод на основе оценки апостериорного максимума (MAP) 

---

206 

 
Регуляризация в глубоком обучении 
и что, в частности, 
L
2
-регуляризация эквивалентна байесовскому выводу на основе 
MAP с априорным нормальным распределением весов. В случае 
L
1
-регуляризации 
штраф 
α
Ω
(
w
) = 
α
Σ
i
|
w
i
|, применяемый для регуляризации функции стоимости, экви-
валентен члену, содержащему логарифм априорного распределения, который макси-
мизируется байесовским выводом на основе MAP, когда в качестве априорного ис-
пользуется изотропное распределение Лапласа (3.26) векторов