Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
данных 
x
. Это означает, что 
h
– функция от 
x
, которая в каком-то смысле представля-
ет информацию, присутствующую в 
x
, но с помощью разреженного вектора.
Для регуляризации представлений применяются те же механизмы, что для регу-
ляризации параметров.
Регуляризация представления путем штрафа по норме производится путем при-
бавления к функции потерь 
J
штрафа по норме 
представления
. Этот штраф обознача-
ется 
Ω
(
h
). Как и раньше, будем обозначать регуляризированную функцию потерь 
J
~
:
J
~
(
θ
; 
X
, 
y
) = 
J
(
θ
; 
X
, 
y
) + 
α
Ω
(
h
), 
(7.48)
где 
α
∈
[0, 
∞
) – относительный вес штрафа; чем больше 
α
, тем сильнее регуляризация.
Точно так же, как штраф по норме 
L
1
параметров индуцирует разреженность па-
раметров, штраф по норме 
L
1
элементов представления индуцирует разреженность 
представления: 
Ω
(
h
) = ||
h
||
1
= 
Σ
i
|
h
i
|. Разумеется, 
L
1
-штраф – лишь один из возможных 
штрафов, приводящих к разреженному представлению. Из других назовем штрафы 
на основе априорного 
t
-распределения Стьюдента (Olshausen and Field, 1996; Bergs-
tra, 2011) и расхождения Кульбака–Лейблера (Larochelle and Bengio, 2008), особенно 
полезные для представлений, элементы которых принадлежат единичному интерва-
лу. В работах Lee et al. (2008) и Goodfellow et al. (2009) приведены примеры стра-
тегий, основанных на регуляризации, требующей, чтобы активация, усредненная по 
нескольким примерам (1/
m
)
Σ
i 
h
i
, была близка к некоторому целевому значению, ска-
жем, вектору, все элементы которого равны 0,01.
В других подходах разреженность представления достигается за счет жесткого 
ограничения на значения активации. Например, в методе