Я. Гудфеллоу, И. Бенджио, А. Курвилль

592 

 
Глубокие порождающие модели 
форме (как в случае нормального распределения). Как и линейный классификатор, 
сама по себе модель не предлагает никакого способа увеличения емкости, так что 
для этой цели следует использовать такие приемы, как расширение базиса входа или 
трюк с ядром.
Рис. 20.8 

Полностью видимая байесовская сеть предсказывает 
i
-ю пе-
ременную по 
i
– 1
предыдущим. (
Сверху
) Ориентированная графическая 
модель ПВБС. (
Снизу
) Граф вычислений для логистической ПВБС, в кото-
рой каждое предсказание делается линейным предиктором
20.10.9. Нейронные авторегрессивные сети
Нейронным авторегрессивным сетям (Bengio and Bengio, 2000a,b) соответствует та-
кая же направленная слева направо графическая модель, как логистическим авторе-
грессивным сетям (рис. 20.8), но внутри этой графической структуры используется 
другая параметризация условных распределений. Она мощнее в том смысле, что ем-
кость модели можно увеличивать как угодно и, значит, аппроксимировать любое сов-
местное распределение. Кроме того, новая параметризация улучшает обобщаемость 
благодаря принципу разделения параметров и признаков, присущему глубокому 
обуче нию вообще. Модель была предложена, чтобы уйти от проклятия размерности, 
имеющего место в традиционных табличных графических моделях с такой же струк-
турой, как на рис. 20.8. В табличных дискретных вероятностных моделях каждое 
услов ное распределение представлено таблицей вероятностей, в которой каждой воз-
можной конфигурации участвующих переменных соответствуют одна ячейка и один 
параметр. Использование вместо этого нейронной сети дает два преимущества:
1) параметризация каждого 
P
(
x
i
| 
x
i
–1
, …, 
x
1
) нейронной сетью с (
i
– 1) 
×
k
входами 
и 
k
выходами (если переменные дискретны и принимают 
k
значений, представ-
ленных унитарным кодом) позволяет оценить условную вероятность, не требуя 
экспоненциального числа параметров (и примеров), но при этом еще и способ-
на уловить зависимости высшего порядка между случайными величинами;

---

Ориентированные порождающие сети 

593
2) вместо отдельной нейронной сети для предсказания каждого 
x
i
направленные 
слева направо
связи (рис. 20.9) позволяют объединить все сети в одну. Иначе 
говоря, это означает, что признаки скрытого слоя, вычисленные для предска-
зания 
x
i
, можно повторно использовать для предсказания 
x
i
+
k
(
k
> 0). Таким об-
разом, скрытые блоки организованы в 
группы
, обладающие тем свойством, что 
все блоки 
i
-й группы зависят только от входных значений 
x
1
, …, 
x
i
. Параметры, 
используемые для вычисления этих скрытых блоков, совместно оптимизиру-
ются с целью улучшить предсказание всех переменных в последовательности. 
Это пример 
принципа повторного использования
, который пронизывает все глу-
бокое обучения – от архитектур рекуррентных и сверточных сетей до многоза-
дачного обучения и переноса обучения.