Я. Гудфеллоу, И. Бенджио, А. Курвилль

расширенному 
градиенту
(enhanced gradient) (Cho et al., 2011). Благодаря улучшенной обусловлен-
ности гессиана обучение может успешно завершиться даже в трудных случаях типа 
обучения глубокой машины Больцмана с несколькими слоями.
Другой подход к совместному обучению глубоких машин Больцмана – много-
предсказательная глубокая машина Больцмана (МП-ГМБ), идея которой – рас-
сматривать уравнения среднего поля как определение семейства рекуррентных се-
тей для приближенного решения любой возможной проблемы вывода (Goodfellow 
et al., 2013b). Вместо того чтобы обучать модель максимизации правдоподобия, мы 
обучаем ее, так чтобы каждая рекуррентная сеть получала верный ответ на соот-
ветствующую проблему вывода. Процесс обучения показан на рис. 20.5. Он состоит 
из трех частей: случайная выборка обучающего примера, случайная выборка под-
множества входов сети вывода и обучение сети вывода предсказывать значения 
остальных блоков.
Этот общий принцип обратного распространения по графу вычислений для при-
ближенного вывода применялся и к другим моделям (Stoyanov et al., 2011; Brakel et 
al., 2013). И в этих моделях, и в МП-ГМБ окончательная потеря не является нижней 
границей правдоподобия, а обычно основана на приближенном условном распреде-
лении отсутствующих значений, индуцируемом сетью приближенного вывода. Это 
значит, что в обоснование обучения таких моделей выдвигаются чисто эвристические 
аргументы. Если исследовать распределение 
p
(
v
), представленное машиной Боль-
цмана, которая была обучена как МП-ГМБ, то оно окажется несовершенным в том 
смысле, что выборка по Гиббсу дает плохие примеры.
У обратного распространения по графу вывода есть два основных преимущества. 
Во-первых, он обучает модель так, как она реально используется, – с помощью при-
Рис. 20.5 

Иллюстрация многопредсказательного процесса обучения 
глубокой машины Больцмана. В строках показаны разные примеры из ми-
ни-пакета для одного и того же шага обучения, а в столбцах – временной 
шаг процесса вывода среднего поля. Для каждого примера мы выбираем 
подмножество переменных, которое будет служить входом для процесса 
вывода. Эти переменные закрашены черным, чтобы показать обусловли-
вание. Затем выполняется процесс вывода среднего поля, стрелки пока-
зывают влияние одних переменных на другие. В практических приложе-
ниях среднее поле разворачивается на несколько шагов, здесь же таких 
шагов всего два. Штриховые стрелки означают, что процесс можно было 
бы развернуть еще на несколько шагов. Переменные, которые не подава-
лись на вход процесса вывода, становятся метками, они закрашены серым 
цветом. Процесс вывода для каждого примера можно рассматривать как 
рекуррентную сеть. Мы пользуемся градиентным спуском и обратным рас-
пространением, чтобы обучить эти рекуррентные сети порождать правиль-
ные метки при известных входах. Тем самым процесс среднего поля для
МП-ГМБ обучается давать верные оценки. Рисунок взят из работы Good-
fellow et al. (2013b) и немного модифицирован

---