Я. Гудфеллоу, И. Бенджио, А. Курвилль

for
j
= 
n
– 1 down to 1 
do
В следующей строке вычисляется 
с использованием 
сохраненных значений: 
grad_table
[
u
(
j
)
] 
⟵
grad_table
[
u
(
i
)
]
.
end for
return 
{
grad_table
[
u
(
i
)
] | 
i
= 1, …, 
n
i
}
6.5.4. Вычисление обратного распространения 
в полносвязном МСП
Чтобы прояснить данное выше определение вычисления обратного распространения, 
рассмотрим конкретный граф, ассоциированный с полносвязным многослойным 
перцептроном.
Сначала в алгоритме 6.3 показано прямое распространение, которое отображает 
параметры на потерю обучения с учителем 
L
(
y
�
, 
y
), ассоциированную с одним обуча-
ющим примером (
x
, 
y
), где 
y
�
– выход нейронной сети, на вход которой подан вектор 
x
.
Затем в алгоритме 6.4 показано соответствующее вычисление, в котором к этому 
графу применяется алгоритм обратного распространения.
Алгоритмы 6.3 и 6.4 – демонстрации для лучшего понимания идеи. Они специали-
зированы для решения одной конкретной задачи.
Современные программные реализации основаны на обобщенной форме обратно-
го распространения, описанной в разделе 6.5.6 ниже, они применимы к любому графу 
вычислений, поскольку явно манипулируют структурой данных для представления 
символьных вычислений.
Алгоритм 6.3.
Прямое распространение по типичной глубокой нейронной сети 
и вычисление функции стоимости. Потеря 
L
(