Я. Гудфеллоу, И. Бенджио, А. Курвилль

488 

 
Структурные вероятностные модели в глубоком обучении 
водить выборку, являются апостериорными распределениями при условии наблю-
даемых переменных. Эти апостериорные распределения обычно не заданы и не 
па раметризованы в модели явно. Их вывод может оказаться дорогостоящей опера-
цией. В тех моделях, где дело обстоит именно так, предковая выборка неэффективна.
К сожалению, предковая выборка применима только к ориентированным моде-
лям. Для выборки из неориентированной модели мы можем сначала преобразовать 
ее в ориентированную, но при этом зачастую возникают неразрешимые задачи выво-
да (чтобы определить маргинальное распределение корневых вершин нового ориен-
тированного графа) или приходится добавлять так много ребер, что получающаяся 
ориентированная модель становится вычислительно неприступной. Выборка из не-
ориентированной модели без предварительного преобразования в ориентированную
требует разрешения циклических зависимостей. Каждая величина взаимодействует 
со всеми другими величинами, поэтому у процесса выборки нет очевидной начальной 
точки. К сожалению, выборка из неориентированной графической модели является 
дорогостоящей многопроходной процедурой. Концептуально самым простым подхо-
дом является 
выборка по Гиббсу
. Предположим, что имеется графическая модель 
над 
n
-мерным вектором случайных величин 
x
. Мы итеративно посещаем каждую ве-
личину 
x
i
и производим выборку, обусловленную всеми остальными величинами, из 
распределения 
p
(x
i
| x
–i
). Благодаря свойствам разделенности графической модели 
это то же самое, что обусловливание только соседями x
i
. К сожалению, после того как 
выполнен один проход по графической модели и произведена выборка из всех 
n
ве-
личин, мы еще не получаем справедливой выборки 
p
(
x
). Мы должны повторить весь 
процесс, произведя повторную выборку из всех 
n
величин, пользуясь обновленны-
ми значениями соседей. Асимптотически, после многих итераций, процесс сходится 
к выборке из корректного распределения. Но бывает трудно решить, когда достигну-
то достаточно точное приближение к желаемому распределению. Методы выборки 
из неориентированных моделей – трудный и интересный вопрос, который более по-
дробно рассматривается в главе 17.