Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
(0)
= 
x
, наблюдаемому примеру, и максимизировать вероятность порож-
дения 
x
на протяжении какого-то количества последующих временных шагов, т. е. 
максимизировать log
 p
(
x
(
k
)
= 
x
| 
h
(
k
)
), где 
h
(
k
)
выбирается из цепи при условии 
x
(0)
= 
x
. 
Чтобы оценить градиент log
 p
(
x
(
k
)
= 
x
| 
h
(
k
)
) по другим частям модели, в работе Bengio 
et al. (2014) используется трюк с перепараметризацией, описанный в разделе 20.9, 
а для улучшения сходимости – возвратная процедура обучения из раздела 20.11.3.
20.12.1. Дискриминантные GSN
Оригинальная формулировка GSN (Bengio et al., 2014) предназначалась для обуче-
ния без учителя и неявного моделирования 
p
(
x
) для наблюдаемых данных 
x
, но под-
ход можно модифицировать для оптимизации 
p
(
y
| 
x
).
Например, в работе Zhou and Тroyanskaya (2014) GSN обобщены в этом направ-
лении, для чего производилось обратное распространение логарифма вероятности 
реконструкции только выходных переменных, а входные оставались фиксирован-
ными. Авторы успешно применили эту идею к моделированию последовательностей 
(вторичной структуры белков) и ввели одномерную сверточную структуру в опера-
тор перехода марковской цепи. Важно не забывать, что на каждом шаге марковской 
цепи порождается новая последовательность для каждого слоя и что эта последова-
тельность является входом для вычисления значений в других слоях (скажем, выше 
и ниже данного) на следующем шаге.
Таким образом, марковская цепь на самом деле построена только над выходной пе-
ременной (и ассоциированными скрытыми слоями верхних уровней), а входная по-
следовательность служит только для обусловливания этой цепи. При этом обратное 
распространение позволяет модели обучиться, как входная последовательность мо-
жет обусловить выходное распределение, неявно представленное марковской цепью. 
Следовательно, в этом случае GSN используется в контексте структурного выхода.
В работе Z
ö
hrer and Pernkopf (2014) предложена гибридная модель, объединяющая 
в себе обучение с учителем (как в описанной выше работе) и без учителя (как в ориги-
нальной работе по GSN). Для этого просто складываются (с разными весами) стоимо-
сти обучения с учителем и без учителя, т. е. логарифмы вероятности реконст рукции