Я. Гудфеллоу, И. Бенджио, А. Курвилль

W
(1)
прибавляется 
X
⏉
G
′
.
J
J
MLE
U
(2)
y
H
U
(1)
X
W
(1)
U
(3)
u
(4)
W
(2)
U
(5)
u
(6)
u
(7)
λ
u
(8)
+
+
×
sum
sum
sqr
sqr
matmul
relu
matmul
cross_entropy
Рис. 6.11 

Граф вычислений, используемый для вычисления стоимости 
обучения в примере МСП с одним скрытым слоем, перекрестной энтропией 
в качестве функции потерь и регуляризацией в форме снижения весов
После того как все градиенты вычислены, для обновления параметров можно при-
менить алгоритм градиентного спуска или какой-нибудь другой алгоритм оптими-
зации.
В случае МСП вычислительная сложность определяется в первую очередь сто-
имостью умножения матриц. На этапе прямого распространения мы умножаем на 
каждую матрицу весов, что дает 
O
(
w
) операций сложения-умножения, где 
w
– число 
весов. На этапе обратного распространения мы умножаем на транспонированные ма-
трицы весов, стоимость этой операции такая же. Потребление оперативной памяти 
определяется необходимостью хранить входные аргументы для функции нелинейно-
сти скрытого слоя. Эти значения хранятся с момента вычисления и до момента, когда 
на обратном проходе мы вернемся в ту же точку. Таким образом, объем необходимой 
памяти составляет 
O
(
mn
h
), где 
m
– количество примеров в мини-пакете, а 
n
h
– коли-
чество скрытых слоев.