Я. Гудфеллоу, И. Бенджио, А. Курвилль

338 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
двоичное дерево. В некоторых предметных областях подходящая структура диктует-
ся внешними соображениями. Например, при обработке предложений естественного 
языка в качестве структуры дерева рекурсивной сети можно взять структуру дерева 
грамматического разбора предложения, которое строит анализатор языка (Socher 
et al., 2011a, 2013a). В идеале хотелось бы, чтобы обучаемая модель сама выводила 
структуру дерева, соответствующую любому заданному входу, как предложено в ра-
боте Bottou (2011).
Рис. 10.14 

Граф вычислений рекурсивной сети является деревом, а не 
цепочкой, как в рекуррентных сетях. Последовательность переменной дли-
ны 
x
(1)
, 
x
(2)
, …, 
x
(
t
)
можно отобразить на представление фиксированного раз-
мера (выход 
o
) с фиксированным набором параметров (матрицы весов 
U
, 
V
, 
W
). На рисунке показан случай обучения с учителем, когда предъявляет-
ся метка 
y
, ассоциированная со всей последовательностью
У идеи рекурсивной сети много вариантов. Например, в работах Frasconi et al. 
(1997) и Frasconi et al. (1998) со структурой дерева ассоциируются данные, а с от-
дельными узлами дерева – входы и метки. Необязательно, чтобы в каждом узле 
выполнялись традиционные для искусственного нейрона вычисления (аффинное 
преобразование всех выходов, за которым следует монотонная нелинейность). На-
пример, в работе Socher et al. (2013a) предложено использовать тензорные операции 
и билинейные формы, которые раньше с успехом применялись для моделирования 
связей между концептами (Weston et al., 2010; Bordes et al., 2012), представленными 
непрерывными векторами (вложениями).

---

Проблема долгосрочных зависимостей 
