Я. Гудфеллоу, И. Бенджио, А. Курвилль

571
slab-переменные 
s
, получаем, что условное распределение наблюдений при условии 
бинарных spike-переменных 
h
имеет вид
(20.52)
(20.53)
где 
Последнее равенство имеет место, только 
если ковариационная матрица 
C
ss
x
|
h
положительно определенная.
Фильтрация по spike-переменным означает, что истинное маргинальное распреде-
ление 
h
⊙
s
разреженное. Это не то же самое, что разреженное кодирование, где вы-
борки из модели «почти никогда» (в смысле теории меры) не содержат нулей в коде 
и требуется, чтобы MAP-вывод индуцировал разреженность.
Если сравнить ssRBM с mcRBM и mPoТ, то окажется, что ssRBM параметризует 
условную ковариацию между наблюдениями совершенно иначе. И mcRBM, и mPoТ 
моделируют структуру в виде 
используя активацию скрытых 
блоков 
h
j
> 0, чтобы наложить ограничения на условную ковариацию в направлении 
r
(
j
)
. Что же касается ssRBM, то она задает условную ковариацию между наблюдени-
ями с помощью скрытых spike-активаций 
h
i
= 1, чтобы стянуть матрицу активации 
вдоль направления, определяемого соответствующим весовым вектором. Условная 
ковариация в модели ssRBM похожа на даваемую другой моделью: анализом про-
изведения вероятностных главных компонент (product of probabilistic principal com-
ponents analysis – PoPPCA) (Williams and Agakov, 2002). В сверхполной конфигу-
рации разреженная активация с ssRBM-параметризацией допускает значительную 
дисперсию (выше номинальной, определяемой матрицей 
Λ
–1
) только в избранных 
направлениях разреженно активированных 
h
i
. В моделях mcRBM и mPoТ сверхпол-
ное представление означало бы, что для улавливания вариативности в конкретном 
направлении в пространстве наблюдений потенциально пришлось бы удалить все 
ограничения с положительной проекцией на это направление. Отсюда следует, что 
эти модели хуже приспособлены к сверхполной конфигурации.
Основной недостаток ограниченной машины Больцмана типа Spike and Slab – 
в том, что при некоторых конфигурациях параметров получающаяся ковариацион-
ная матрица не является положительно определенной. В этом случае значения, дале-
кие от среднего, получают большую ненормированную вероятность, так что интеграл 
по всем возможным исходам расходится. Обычно этой проблемы можно избежать 
с помощью простых эвристических приемов. Теоретически строгого решения пока не 
найдено. Применить ограниченную оптимизацию, чтобы явно избежать областей, где 
вероятность не определена, трудно, не впадая в грех чрезмерной консервативности, 
из-за чего может случиться так, что модель никогда не попадет в области простран-
ства параметров, где достигается хорошее качество.
Качественно сверточные варианты ssRBM дают прекрасные примеры естествен-
ных изображений. Некоторые из них показаны на рис. 16.1.
У ssRBM есть несколько обобщений. Если включить взаимодействия высшего по-
рядка и пулинг с усреднением по slab-переменным (Courville et al., 2014), то модель 
сможет обучиться отличным признакам для классификатора в случае, когда помечен-

---