Я. Гудфеллоу, И. Бенджио, А. Курвилль

 параметрического ReLU
, или 
PReLU 
α
i
, считается 
обучаемым параметром (He et al., 2015).
Maxout
-
блоки 
(Goodfellow et al., 2013a) – это дальнейшее обобщение блоков ли-
нейной ректификации. Вместо того чтобы применять функцию 
g
(
z
) к каждому эле-

---

Скрытые блоки 

171
менту, вектор 
z
разбивается на группы по 
k
значений. Затем каждый maxout-блок вы-
водит максимальный элемент одной из групп:
(6.37)
где 
𝔾
(
i
)
– множество индексов входов, входящих в 
i
-ю группу, {(
i
– 1)
k
+ 1, …, 
ik
}. Это 
позволяет обучать кусочно-линейную функцию, дающую отклик в нескольких на-
правлениях в пространстве входов 
x
.
Maxout-блок может обучить кусочно-линейную выпуклую функцию, состоящую 
из 
k
участков. Поэтому такие блоки можно рассматривать как средство 
обучения са-
мой функции активации
, а не просто связи между блоками. При достаточно больших 
k
maxout-блок может научиться аппроксимировать любую выпуклую функцию с про-
извольной точностью. В частности, maxout-слой с двумя участками линейности мож-
но обучить реализации той же функции от входа 
x
, что и традиционный слой с бло-
ком линейной ректификации, абсолютной ректификации, ректификации с утечкой 
или параметрической ректификации, а также реализации совершенно другой функ-
ции. Разумеется, maxout-слой параметризуется не так, как слои других типов, поэто-
му динамика обучения будет иной даже в случае, когда maxout обучают реализации 
той же функции от 
x
, что и другие слои.
Каждый maxout-блок параметризуется 
k
векторами весов вместо одного, поэтому 
для них нужно больше регуляризации, чем для блоков линейной ректификации. Они 
могут хорошо работать вообще без регуляризации, если обучающий набор достаточ-
но велик, а количество участков линейности в каждом блоке мало (Cai et al., 2013).
У maxout-блоков есть еще несколько преимуществ. В некоторых случаях можно 
получить статистический и вычислительный выигрыш от уменьшения числа пара-
метров. Точнее, если признаки, собранные 
n
разными линейными фильтрами, можно 
обобщить без потери информации, взяв максимум по каждой группе 
k
признаков, то 
следующий уровень может обойтись в 
k
раз меньшим числом весов.
Поскольку каждый блок «питается» несколькими фильтрами, maxout-блоки обла-
дают некоторой избыточностью, позволяющей им противостоять феномену