Я. Гудфеллоу, И. Бенджио, А. Курвилль

10.1. Развертка графа вычислений
Граф вычислений – это формальный способ описать структуру множества вычисле-
ний, например необходимых для отображения входов и параметров на выходы и по-
терю. Общее введение в эту тему приведено в разделе 6.5.1. А сейчас мы объясним 
идею 
развертки
(unfolding) рекурсивного или рекуррентного вычисления в граф вы-
числений с повторяющейся структурой, обычно соответствующей цепочке событий. 
Развертка такого графа приводит к разделению параметров между структурными 
элементами глубокой сети.
Например, рассмотрим классическую форму динамической системы:
s
(
t
)
= 
f
(
s
(
t
–1)
; 
θ
), 
(10.1)
где 
s
(
t
)
называется состоянием системы.
Выражение (10.1) рекуррентное, потому что определение 
s
в момент 
t
ссылается на 
то же самое определение в момент 
t
– 1.

---

318 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
Для конечного числа временных шагов 
τ
граф можно развернуть, применив это 
определение 
τ
– 1 раз. Например, если развернуть выражение (10.1) для 
τ
= 3 шагов, 
то получим:
s
(3)
= 
f
(
s
(2)
; 
θ
) 
(10.2)
= 
f
(
f
(
s
(1)
; 
θ
); 
θ
). 
(10.3)
После такой развертки путем повторного применения определения получается 
выражение, не содержащее рекурсии. Такое выражение можно представить тради-
ционным ациклическим ориентированным графом вычислений. Развернутый граф 
вычислений выражений (10.1) и (10.3) показан на рис. 10.1.
Рис. 10.1 

Классическая динамическая система, описываемая выра-
жением (10.1), в виде развернутого графа вычислений. Каждая вершина 
представляет состояние в некоторый момент 
t
, а функция 
f
отображает со-
стояние в момент 
t
на состояние в момент 
t
+ 1
. Одни и те же параметры 
(значение 
θ
, параметризующее 
f
) используются на всех временных шагах
В качестве другого примера рассмотрим динамическую систему, управляемую 
внешним сигналом