Я. Гудфеллоу, И. Бенджио, А. Курвилль

180 

 
Глубокие сети прямого распространения 
из нескольких элементов, как, например, вектор. Программные реализации алгорит-
ма обратного распространения обычно поддерживают операции с несколькими вы-
ходами, но в нашем описании мы отказываемся от этого, чтобы не погрязнуть в не-
принципиальных для понимания деталях.
Если переменная 
y
вычисляется применением некоторой операции к переменной 
x
, то мы проводим в графе ориентированное ребро от 
x
к 
y
. Иногда выходная вершина 
аннотируется именем примененной операции, а иногда эта метка опускается, если 
операция понятна из контекста.
На рис. 6.8 приведены примеры графов вычислений.
y
�
y
�
z
u
(1)
U
(2)
U
(1)
X
x
W
w
b
λ
u
(2)
H
u
(2)
u
(1)
u
(3)
x
x
y
+
+
w
b
×
×
σ
dot
sum
sqr
dot
matmul
relu
(a)
(c)
(b)
(d)
Рис. 6.8 

Примеры графов вычислений. (
a
) Граф, в котором операция 
×
используется для вычисления 
z
= 
xy
. (
b
) Граф вычисления логистической 
регрессии 
y
�
= 
σ
(
x
⏉
w
+ 
b
)
. Некоторые промежуточные выражения не поиме-
нованы в алгебраическом выражении, но должны иметь имена в графе. Мы 
просто обозначаем 
i
-ю переменную такого рода