Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
(
t
)
обозначает состояние той РНС, что движется вперед, а 
g
(
t
)
– 
той, что движется назад. Это позволяет выходным блокам 
o
(
t
)
вычислять представле-
ние, которое зависит 
как от прошлого, так и от будущего
, но наиболее чувствительно 
к входным значениям вблизи момента 
t
; при этом задавать окно фиксированного 
размера вокруг 
t
необязательно (в отличие от сетей прямого распространения, свер-
точных сетей и обычных РНС с буфером предвыборки фиксированного размера).
Эта идея естественно обобщается на двумерные входные данные, например изобра-
жения, для чего нужны 
четыре
РНС, по одной в каждом направлении: вверх, вниз, 
влево, вправо. Тогда в каждой точке (
i
, 
j
) двумерной сети выходной блок 
O
i
, 
j
мог бы вы-
числять представление, которое улавливает в основном локальную информацию, но 
может зависеть и от удаленных входов, если РНС способна такую информацию нес-
ти. По сравнению со сверточной сетью, применение РНС к изображениям обходится 
дороже, зато может учитывать дальние боковые взаимодействия между элементами 
одной карты признаков (Visin et al., 2015; Kalchbrenner et al., 2015). Действительно, 
уравнения прямого распространения для таких РНС можно записать в виде, пока-
зывающем, что в них используется свертка, которая вычисляет вход снизу в каждый 
слой, а только потом производится рекуррентное распространение поперек карты 
признаков, учитывающее боковые взаимодействия.
10.4. Архитектуры кодировщик-декодер 
или последовательность в последовательность
На рис. 10.5 мы видели, что РНС может отобразить входную последовательность 
в вектор фиксированного размера. На рис. 10.9 было показано, что РНС может ото-
бра1зить вектор фиксированного размера в последовательность, а на рис. 10.3, 10.4, 
10.10 и 10.11 – что РНС способна отобразить входную последовательность на выход-
ную такой же длины.

---