Я. Гудфеллоу, И. Бенджио, А. Курвилль

337
(a)
(b)
(c)
Рис. 10.13 

Рекуррентную нейронную сеть можно сделать глубокой раз-
ными способами (Pascanu et al., 2014a). (
a
) Скрытое рекуррентное состоя-
ние можно разделить на иерархически организованные группы. (
b
) Между 
входом и скрытым состоянием, между двумя скрытыми уровнями скрытого 
состояния и между скрытым состоянием и выходом можно поместить более 
глубокое вычисление (например, МСП). Это может удлинить кратчайший 
путь, соединяющий разные временные шаги. (
c
) Эффект удлинения пути 
можно сгладить путем добавления прямых связей
10.6. Рекурсивные нейронные сети
Рекурсивные нейронные сети
1
– еще один вид обобщения рекуррентных сетей, для 
которого характерен граф вычислений, структурированный как глубокое дерево, а не 
как цепная структура, присущая РНС. Типичный граф вычислений для рекурсивной 
сети показан на рис. 10.14. Рекурсивные нейронные сети были введены в работе Pollack 
(1990), а их потенциальное применение к обучению рассуждениям описано в работе 
Bottou (2011). Рекурсивные сети успешно применялись для обработки структур дан-
ных, используемых в качестве входа нейронной сети (Frasconi et al., 1997, 1998), в об-
работке естественных языков (Socher et al., 2011a,c, 2013a) и в компью терном зрении 
(Socher et al., 2011b).
Одно очевидное преимущество рекурсивных сетей по сравнению с рекуррентны-
ми – тот факт, что для последовательности одной и той же длины 
τ
глубину (изме-
ренную как количество композиций нелинейных операций) можно резко снизить с 
τ
до 
O
(log 
τ
), это может оказаться весьма полезно при работе с долгосрочными зависи-
мостями. Открытый вопрос – как лучше всего структурировать дерево. Один из ва-
риантов – выбрать структуру, не зависящую от данных, например сбалансированное 
1
Мы не употребляем аббревиатуру РНС для рекурсивных нейронных сетей во избежание 
путаницы с рекуррентными нейронными сетями.

---