Я. Гудфеллоу, И. Бенджио, А. Курвилль

b
o
, 
U
o
, 
W
o
– смещения, веса входов и рекуррентные веса соответственно. Один из 
вариантов – использовать состояние ячейки 
s
i
(
t
)
как дополнительный вход (со своим 
весом) всех трех вентилей 
i
-го блока, как показано на рис. 10.16. Тогда потребуются 
три дополнительных параметра.
Показано, что LSTM-сети легче обучаются долгосрочным зависимостям, чем прос-
тые рекуррентные архитектуры: сначала на искусственных наборах данных, спроек-
тированных специально для тестирования способности к обучению долгосрочным 
зависимостям (Bengio et al., 1994; Hochreiter and Schmidhuber, 1997; Hochreiter et al., 
2001), а затем и на трудных задачах обработки последовательностей, при решении 
которых было достигнуто качество, не уступающее лучшим образцам (Graves, 2012; 
Graves et al., 2013; Sutskever et al., 2014). Ниже обсуждаются варианты и альтернати-
вы LSTM, которые изучались и нашли практическое применение.
10.10.2. Другие вентильные РНС
Какие части архитектуры LSTM действительно необходимы? Какие еще можно при-
думать успешные архитектуры, позволяющие сети динамически управлять времен-
ным масштабом и поведением забывания различных блоков?
Ответы на некоторые из этих вопросов даны в недавних работах по вентильным 
РНС, блоки которых известны также под названием вентильных рекуррентных бло-
ков (gated recurrent unit – GRU) (Cho et al., 2014b; Chung et al., 2014, 2015a; Jozefowicz 
et al., 2015; Chrupala et al., 2015). Основное отличие от LSTM заключается в том, что 
один вентильный блок одновременно управляет и коэффициентом забывания, и ре-
шением об обновлении блока состояния. Уравнения обновления имеют вид:
(10.45)
где 
u
обозначает вентиль «обновления», а 
r
– вентиль «сброса». Их значения опреде-
ляются как обычно:
;
(10.46)
(10.47)
Вентили обновления и сброса могут «игнорировать» части вектора состояния. 
Вентили обновления действуют как условные интеграторы с утечкой с линейной 
функцией по любому измерению, т. е. могут либо скопировать вход (один конец сиг-
моиды), либо полностью проигнорировать его (противоположный конец), заменив 
новым «целевым состоянием» (к которому интегратор с утечкой желает сойтись). 
Вентили сброса контролируют, какие части состояния использовать для вычисления 

---