Я. Гудфеллоу, И. Бенджио, А. Курвилль

v
⏉
W
(1)
),
 
(20.22)
h
(
l
)
= 
σ
(
b
i
(
l
)
+ 
h
(
l
–1)
⏉
W
(
l
)
)
∀
l
∈
2, …, 
m
.
 
(20.23)
После инициализации МСП весами и смещениями, обученными на этапе порож-
дающего обучения ГСД, мы можем обучить МСП решать задачу классификации. Это 
дополнительное обучение – пример дискриминантной окончательной настройки.
Этот конкретный выбор МСП выглядит несколько произвольно, по сравнению 
со многими уравнениями вывода из главы 19, имеющими теоретическое обоснова-
ние. Это эвристический выбор, который неплохо работает на практике и постоянно 
упоминается в литературе. В обоснование многих методов приближенного вывода 
выдвигается их способность находить максимально 
точную
вариационную нижнюю 
границу логарифмического правдоподобия при определенных ограничениях. Такую 
границу можно построить с помощью математических ожиданий скрытых блоков, 
определенных ассоциированным с ГСД перцептроном, но это справедливо для 
любо-
го
распределения вероятности скрытых блоков, и нет причин полагать, что этот МСП 

---

Глубокие машины Больцмана 

555
дает особо точную границу. В частности, МСП игнорирует многие важные взаимо-
действия в графической модели ГСД. МСП распространяет информацию вверх от 
видимых блоков к самым глубоким скрытым блокам, но не вниз и не в стороны. В гра-
фической модели ГСД имеются оправдывающие взаимодействия между всеми скры-
тыми блоками внутри одного слоя, а также нисходящие взаимодействия между слоя-
ми. Хотя логарифмическое правдоподобие ГСД вычислить невозможно, его можно 
аппроксимировать методом выборки по значимости с отжигом (Salakhutdinov and 
Murray, 2008). Это позволяет вычислить ее качество в роли порождающей модели.
Термин «глубокая сеть доверия» часто неправильно употребляется для обозначе-
ния любой глубокой нейронной сети, даже без семантики латентных переменных. На 
самом деле он относится исключительно к моделям с неориентированными связями 
в самом глубоком слое и направленными вниз ориентированными связями между 
всеми остальными парами соседних слоев.
Этот термин также может вызвать путаницу, потому что «сетью доверия» иногда 
называют строго ориентированные модели, тогда как в глубоких сетях доверия име-
ется неориентированный слой. Ко всему прочему, английский акроним DBN употреб-
ляется также для динамических байесовских сетей (Dean and Kanazawa, 1989), т. е. 
для байесовских сетей, представляющих марковские цепи.