JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 9. Глубокое обучение для последовательностей и текста
351
лемой исчезающего градиента. Шлюз обновления 
z
вычисляется как линейная 
комбинация входного сигнала 
x
и текущего состояния 
h
с последующим приме­
нением нелинейной сигма­функции.
2. Помимо шлюза обновления 
z
, в GRU есть еще один шлюз — так называемый 
шлюз сброса
(reset gate) 
r
. Подобно шлюзу обновления 
z
, 
r
вычисляется как 
нелинейная сигма­функция, применяемая к линейной комбинации входного 
сигнала и текущего состояния 
h
. Шлюз сброса определяет забываемую часть 
текущего состояния. В частности, в уравнении tanh(
Wx
+ 
rUh
) при 
r
= 0 текущее 
состояние 
h
ни на что не влияет, и если (1 – 
z
) в последующем уравнении тоже 
близко к нулю, то влияние текущего состояния 
h
на следующее состояние будет 
минимальным. Таким образом, благодаря 
r
и 
z
совместно GRU обучается забы­
вать историю — или ее часть — при соответствующих условиях. Допустим, мы 
пытаемся классифицировать обзор фильма как позитивный или негативный. 
Обзор может начинаться с фразы: «Фильм довольно неплох», но где­то дальше 
Рис. 9.4.
Свернутое представление GRU-ячейки — более сложного и обладающего большими 
возможностями, чем simpleRNN, типа RNN-слоя. Это свернутое представление, сравнимое 
с блоком Б на рис. 9.2. Учтите, что в этих уравнениях для простоты мы опустили члены смещения. 
Пунктирные линии указывают на соединения обратной связи, ведущие от выходного сигнала 
GRU-ячейки (h) в ту же ячейку на последующих временны
'
х шагах
Листинг 9.3.
Псевдокод GRU-слоя

---

352