Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
, вычисляемых функцией 
f
(1)
(
x
; 
W
, 
c
). Значения скрытых 
блоков служат входами для второго слоя, который одновременно является выходным 
слоем сети. Выходной слой – это просто модель линейной регрессии, но применяется 
она к 
h
, а не к 
x
. Теперь сеть содержит две функции, 
h
= 
f
(1)
(
x
; 
W
, 
c
) и 
y
= 
f
(2)
(
h
; 
w
, 
b
), 
а полная модель образована их композицией 
f
(
x
; 
W
, 
c
, 
w
, 
b
) = 
f
(2)
(
f
(1)
(
x
)).
Что должна вычислять функция 
f
(1)
? До сих пор линейные модели служили нам ве-
рой и правдой, поэтому велико искушение сделать 
f
(1)
линейной. К сожалению, если 
бы 
f
(1)
была линейной, то и вся сеть прямого распространения оказалась бы линей-
ной функцией входа. Забудем ненадолго про свободные члены и предположим, что
f
(1)
(
x
) = 
W
⏉
x
, 
f
(2)
(
h
) = 
h
⏉
w
. Тогда 
f
(
x
) = 
w
⏉
W
⏉
x
. Эту функцию можно представить 
в виде 
f
(
x
) = 
x
⏉
w
′
, где 
w
′
= 
Ww
.
Очевидно, что для описания признаков нужна нелинейная функция. В большинстве 
нейронных сетей используют композицию аффинного преобразования с обучен ными 
параметрами и фиксированной нелинейной функции активации. Воспользуемся этой 
стратегией и мы, положив 
h
= 
g
(
W
⏉
x
+ 
c
), где 
W
– веса линейного преобразования, 
а 
c
– смещения. Ранее в модели линейной регрессии мы использовали веса и скаляр-
ный параметр смещения для описания аффинного преобразования входного вектора 
в выходной скаляр. Теперь же мы описываем аффинное преобразование вектора 
x
в вектор 
h
, поэтому смещение должно быть вектором. В качестве функции активации 
обычно берут функцию, применяемую к каждому элементу: 
h
i
= 
g
(
x
⏉
W
:, 
i
+ 
c
i
). В со-

---

154 

 
Глубокие сети прямого распространения 
временных нейронных сетях по умолчанию рекомендуют использовать 
блок линей-
ной ректификации
(rectified linear unit – ReLU) (Jarrett et al., 2009; Nair and Hinton, 
2010; Glorot et al., 2011a), определяемый функцией активации 
g
(
z
) = max{0, 
z
}, кото-
рая изобра жена на рис. 6.3.
Пространство входов