Я. Гудфеллоу, И. Бенджио, А. Курвилль

разделения параметров.
Как у рекуррентного, так и у развернутого графа есть свои достоинства. Рекуррент-
ный граф лаконичен, развернутый дает явное описание всех вычислений. Кроме того, 
развернутый граф иллюстрирует идею протекания информации во времени вперед 
(вычисление выходов и потерь) и назад (вычисление градиентов), поскольку явно 
содержит путь, по которому течет информация.
10.2. Рекуррентные нейронные сети
Вооружившись механизмами развертки графов и разделения параметров, мы можем 
перейти к проектированию разнообразных рекуррентных нейронных сетей.
Вот несколько важных паттернов проектирования таких сетей:
 

рекуррентные сети, порождающие выход на каждом временном шаге и имею-
щие рекуррентные связи между скрытыми блоками (рис. 10.3);
 

рекуррентные сети, порождающие выход на каждом временном шаге и имею-
щие рекуррентные связи только между выходами на одном временном шаге 
и скрытыми блоками на следующем (рис. 10.4);
 

рекуррентные сети с рекуррентными связями между скрытыми блоками, ко-
торые читают последовательность целиком, а затем порождают единственный 
выход (рис. 10.5).
На рис. 10.3 изображен достаточно репрезентативный пример, к которому мы не 
раз будем возвращаться в этой главе.
Рекуррентная нейронная сеть на рис. 10.3 и уравнение (10.8) универсальны в том 
смысле, что любая функция, вычислимая машиной Тьюринга, может быть вычислена 
и такой рекуррентной сетью конечного размера. Результат можно прочитать из РНС 
после выполнения числа шагов, асимптотически линейно зависящего от числа времен-
ных шагов машины Тьюринга и от длины входной последовательности (Siegelmann 
and Sontag, 1991; Siegelmann, 1995; Siegelmann and Sontag, 1995; Hyotyniemi, 1996). 
Функции, вычислимые машиной Тьюринга, дискретны, и потому эти результаты от-
носятся к точной реализации функции, а не к аппроксимациям. Когда РНС исполь-
зуется как машина Тьюринга, она принимает на входе двоичную последовательность, 
а ее выходы можно дискретизировать для получения двоичного результата. В таких 
предположениях можно вычислить любую функцию с помощью одной конкретной 
РНС конечного размера (в работе Siegelmann and Sontag [1995] используется РНС 
с 886 блоками). «Входом» машины Тьюринга является спецификация вычисляемой 
функции, поэтому той же сети, которая моделирует машину Тьюринга, достаточно 
для решения всех задач. Теоретическая РНС, применяемая в доказательстве, умеет 
моделировать неограниченный стек, представляя его активации и веса рациональны-
ми числами неограниченной точности.
Теперь выведем уравнения прямого распространения для РНС, изображенной на 
рис. 10.3. На этом рисунке не показана конкретная функция активации для скрытых 

---

Рекуррентные нейронные сети 

321
блоков. Будем предполагать, что это гиперболический тангенс. Кроме того, на рисун-
ке точно не указана форма выхода и функции потерь. Будем предполагать, что выход 
дискретный, как если бы РНС применялась для предсказания слов или символов. 
Естественный способ представления дискретных величин – рассматривать выход 
как ненормированные логарифмические вероятности каждого возможного значения 
дискретной величины. Тогда на этапе постобработки можно применить операцию 
softmax и получить вектор