Я. Гудфеллоу, И. Бенджио, А. Курвилль

W
(
t
)
, 
определенные как копии 
W
, только каждая 
W
(
t
)
используется лишь на временном 
шаге 
t
. Тогда 
∇
W
(
t
)
f
можно использовать для обозначения вклада весов на шаге 
t
в гра-
диент. В этой нотации градиенты по остальным параметрам имеют вид
(10.22)
(10.23)
(10.24)
(10.25)

---

Рекуррентные нейронные сети 

327
(10.26)
(10.27)
. 
(10.28)
Нам не нужно вычислять градиент по 
x
(
t
)
для обучения, потому что среди его пред-
ков в графе вычислений, определяющем потерю, нет параметров.
10.2.3. Рекуррентные сети как ориентированные 
графические модели
В разработанном выше примере рекуррентной сети в роли потери 
L
(
t
)
выступала пе-
рекрестная энтропия между метками 
y
(
t
)
и выходами 
o
(
t
)
. Как и в сетях прямого рас-
пространения, в рекуррентной сети, в принципе, можно использовать почти любую 
функцию потерь. Выбирать ее следует в зависимости от задачи. Как и в сети прямого 
распространения, мы обычно хотим интерпретировать выход РНС как распределение 
вероятности, а для определения потерь используем ассоциированную с этим распре-
делением перекрестную энтропию. Например, среднеквадратическая ошибка – это 
потеря в виде перекрестной энтропии, ассоциированной с нормальным распределе-
нием выхода с нулевым средним и единичной дисперсией, – как и в сети прямого 
распространения.
Когда в качестве целевой функции обучения используется логарифмическое прав-
доподобие, как в уравнении (10.12), мы обучаем РНС оценивать условное распреде-
ление следующего элемента последовательности