Я. Гудфеллоу, И. Бенджио, А. Курвилль

20.4.1. Интересные свойства
У глубоких машин Больцмана много интересных свойств.
ГМБ были разработаны после ГСД. По сравнению c ГСД, их апостериорное рас-
пределение 
P
(
h
| 
v
) проще. В противоречие с интуицией, благодаря простоте апосте-
риорного распределения возможны его улучшенные аппроксимации. В случае ГСД 
мы выполняем классификацию, применяя эвристическую процедуру приближенно-
го вывода, в которой высказываем гипотезу, что разумное значение математического 
ожидания среднего поля для скрытых блоков можно получить проходом вверх по 
сети, образованной МСП с сигмоидными функциями активации и такими же весами, 
как у исходной ГСД. Для получения вариационной нижней границы логарифмиче-
ского правдоподобия можно использовать любое распределение 
Q
(
h
). Поэтому такая 
эвристическая процедура дает возможность получить нижнюю границу. Однако эта 
граница явно никак не оптимизировалась и потому может быть далеко не точной. 
В частности, эвристическая оценка 
Q
игнорирует взаимодействия между скрытыми 
блоками в одном слое, а также влияние нисходящей обратной связи между скрытыми 
блоками более глубоких слоев и слоев, расположенных ближе к входу. Поскольку 
эвристическая процедура вывода на основе МСП не может учесть этих взаимодей-
ствий в ГМБ, результирующее распределение 
Q
, скорее всего, далеко от оптимально-
го. В ГМБ все скрытые блоки внутри одного слоя условно независимы при условии 
других слоев. Благодаря отсутствию внутрислойного взаимодействия открывается 
возможность использовать уравнения неподвижной точки для оптимизации вариа-
ционной нижней границы и нахождения истинно оптимальных математических ожи-
даний среднего поля (в пределах некоторого допуска).

---