Я. Гудфеллоу, И. Бенджио, А. Курвилль

вентиль-
ным блоком забывания
f
i
(
t
)
(для временного шага 
t
и ячейки 
i
), который присваивает 
этому весу значение от 0 до 1 с помощью сигмоиды:
(10.40)
где 
x
(
t
)
– текущий входной вектор, 
h
(
t
)
– вектор текущего скрытого слоя, содержа-
щий выходы всех LSTM-ячеек, а 
b
f
,
U
f
, 
W
f
– соответственно смещения, веса входов 
и рекуррентные веса для вентилей забывания. Таким образом, внутреннее состояние 

---

346 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
LSTM-ячейки обновляется по следующей формуле, в которой присутствует услов-
ный вес петли 
f
i
(
t
)
:
(10.41)
где 
b
, 
U
и 
W
– соответственно смещения, веса входов и рекуррентные веса LSTM-
ячейки. Блок 
внешнего входного вентиля
g
i
(
t
)
вычисляется аналогично вентилю за-
бывания (с использованием сигмоиды для получения значения от 0 до 1), но со сво-
ими параметрами:
(10.42)
выход
петля
состояние
вход
входной 
вентиль
вентиль 
забывания
выходной
вентиль
Рис. 10.16 

Принципиальная схема «ячейки» рекуррентной LSTM-сети. 
Ячейки, рекуррентно связанные между собой, заменяют стандартные скры-
тые блоки в обыкновенных рекуррентных сетях. Входной признак вычис-
ляется регулярным блоком искусственного нейрона. Его значение можно 
аккумулировать в состоянии, если сигмоидный входной вентиль это допус-
кает. В блоке состояния имеется линейная петля, вес которой управляется 
вентилем забывания. Выход ячейки можно перекрыть с помощью выходно-
го вентиля. Во всех вентильных блоках имеется сигмоидная нелинейность, 
тогда как во входном блоке разрешены произвольные сплющивающие не-
линейности. Черным квадратиком обозначена задержка на одном времен-
ном шаге

---

Долгая краткосрочная память и другие вентильные РНС 

347
Выход 
h
i
(
t
)
LSTM-ячейки можно перекрыть с помощью выходного вентиля 
q
i
(
t
)
, 
в котором также используется сигмоида:
h
i
(
t
)
= tanh(
s
i
(
t
)
)
q
i
(
t
)
,
(10.43)
(10.44)
и