JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 2. Приступим: простая линейная регрессия в TensorFlow.js
83
z
z
На ребре, обозначенном как 
loss
, мы начинаем с градиента, равного 1. Это соот­
ветствует тривиальному утверждению: «единичный прирост 
ф_потерь
соответ­
ствует единичному приросту самих потерь»
1
.
z
z
На помеченном 
e
3
ребре вычисляется градиент функции потерь относительно 
единичного изменения текущего значения 
e
3
. А поскольку промежуточная опе­
рация представляет собой возведение в квадрат и поскольку из основ математи­
ческого анализа известно, что производная (градиент в случае функции одной 
переменной) 
(e
3
)
2
по 
e
3
равна 
2
*
e
3
, то значение градиента равно 
2
*
-5
=
-10
. Зна­
чение 
-10
умножается на предыдущий градиент (то есть 1) и получается градиент 
на ребре 
e
3
: 
-10
. Именно таков прирост потерь при увеличении 
e
3
на 1. Как вы 
могли заметить, для получения из градиента потерь по одному ребру градиента 
потерь по следующему ребру необходимо умножить предыдущий градиент на 
1 
На каждом ребре вычисляется градиент (частная производная) величины с предыдущего 
ребра относительно величины на этом ребре. Так как предыдущего ребра нет, вычисляется 
градиент потерь относительно потерь, который равен единице. В результате и получается 
тривиальное утверждение, что отмечает сам автор. — 
Примеч. науч. ред.
Рис. 2.9.
Иллюстрация алгоритма обратного распространения ошибки на простой линейной 
модели со всего одним подбираемым весовым коэффициентом (v). Блок A: прямой проход 
модели — значение функции потерь вычисляется на основе веса (v) и входных сигналов 
(x и y). Блок Б: обратный проход — пошагово вычисляется градиент функции потерь по v, 
от потерь к v

---

84