Neyron tarmoq asoslari va uni chuqur o'rganish

BPTT и усеченный BPTT

Обучение РНС может быть сопряжено с высокими вычислительными расходами.

Традиционно для этой цели используется алгоритм BPTT.

По существу, BPTT не отличается от стандартного алгоритма обратного распространения: мы применяем правило вычисления производной сложной функции (градиентов) с учетом структуры связей в сети. Слова «во времени» означают, что некоторые градиенты (ошибки) распространяются в направлении от будущих временных шагов к прошлым, а не от следую­ щих слоев к предыдущим, как в стандартном алгоритме.

Если сеть имеет дело с длинными последовательностями, насчитывающими много временных шагов, то мы рекомендуем подумать об использовании усечен-

0. 
   Cho et al., 2014. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation // https://arxiv.org/abs/1406.1078.
   

142  Основные архитектуры глубоких сетей
ного алгоритма BPTT. В нем уменьшена вычислительная сложность обновления каждого параметра РНС.


Рекуррентные нейронные сети и обратное распространение
Вычисление градиента для РНС на последовательности длиной 1000 имеет такую же вычислительную сложность, как выполнение прямого и обратного проходов в пер-цептроне с 1000 слоев.
Более частое обновление параметров ускоряет обучение рекуррентной нейрон-ной сети. Мы рекомендуем применять усеченный BPTT, когда число временных шагов превышает несколько сотен.

Чтобы лучше понять идею усеченного BPTT, посмотрим, что происходит при обучении сети с 12 временными шагами. В этом случае мы должны выполнить прямой проход на 12 шагов, вычислить ошибку сети и произвести обратный про-ход на 12 шагов (см. рис. 4.26).

Прямой проход (12 временных шагов)

Обратный проход (12 временных шагов)

Обновление параметров: 1 из 1