Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
безусловной модели и преоб-
разует их в 
ω
, где параметры смещения внутри 
ω
теперь являются функцией входа.
Рис. 10.9 

РНС, отображающая вектор фиксированной длины 
x
в рас-
пределение последовательностей 
Y
. Эта РНС подходит для таких задач, 
как подписывание изображений, когда одно изображение подается на вход 
модели, порождающей его описание в виде последовательности слов. 
Каждый элемент 
y
(
t
)
наблюдаемой выходной последовательности служит 
одновременно входом (для текущего временного шага) и – на этапе обуче-
ния – меткой (для предыдущего временного шага)

---

332 

 
Моделирование последовательностей: рекуррентные и рекурсивные сети
РНС может получать на входе не единственный вектор 
x
, а последовательность 
векторов 
x
(
t
)
. РНС, описываемая уравнением (10.8), соответствует условному рас-
пределению 
P
(
y
(1)
, …, 
y
(
τ
)
| 
x
(1)
, ..., 
x
(
τ
)
), для которого справедливо предположение об 
условной независимости, согласно которому его можно представить в виде произ-
ведения
(10.35)
Чтобы избавиться от предположения об условной независимости, мы можем до-
бавить связи между выходом в момент 
t
и скрытым блоком в момент 
t 
+ 1, как по-
казано на рис. 10.10. Тогда модель сможет представить произвольное распределение 
вероятности последовательности 
y
. У таких моделей, описывающих распределение 
вероятности одной последовательности при условии другой последовательности, все 
же остается одно ограничение: длины обеих последовательностей должны быть рав-
ны. Как снять это ограничение, мы покажем в разделе 10.4.