Я. Гудфеллоу, И. Бенджио, А. Курвилль

328 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
(10.31)
где при 
t
= 1 справа от вертикальной черты, конечно, ничего нет. При такой модели от-
рицательное логарифмическое правдоподобие множества значений {
y
(1)
, …, 
y
(
τ
)
} имеет 
вид
(10.32)
где
L
(
t
)
= –log 
P
(y
(
t
)
= 
y
(
t
)
| 
y
(
t
–1)
, 
y
(
t
–2)
, …,
y
(1)
). 
(10.33)
Ребра графической модели показывают, какие переменные прямо зависят от дру-
гих переменных. Многие графические модели стремятся повысить статистическую 
и вычислительную эффективность, опуская ребра, которым не соответствуют силь-
ные взаимодействия. Например, часто принимают марковское предположение о том, 
что графическая модель должна содержать только ребра, ведущие из {y
(
t
–
k
)
, …, y
(
t
–1)
} 
в y
(
t
)
, а не ребра, описывающие всю историю. Но в некоторых случаях мы полагаем, что 
на следующий элемент последовательности должны оказывать влияние все прошлые 
входы. РНС полезны, когда мы считаем, что распределение y
(
t
)
может зависеть от зна-
чения y
(
i
)
из отдаленного прошлого способом, не отраженным во влиянии y
(
i
)
на y
(
t
–1)
.
Интерпретировать РНС как графическую модель можно, в частности, рассматри-
вая сеть как определение графической модели, имеющей вид полного графа, спо-
собного представить прямые зависимости между любой парой значений y. Модель 
с такой структурой показана на рис. 10.7. Интерпретация РНС как полного графа 
основана на игнорировании скрытых блоков