Я. Гудфеллоу, И. Бенджио, А. Курвилль

h
| 
v
)
факторное, тогда как апостериорное распределение 
разреженного кодирования таковым не является, поэтому модель разре-
женного кодирования может оказаться лучше для выделения признаков. 
Существуют и другие модели, в которых оба распределения 
p
(
h
)
и 
p
(
h
| 
v
)
нефакторные. Изображение взято из работы LISA (2008)
Поскольку функция энергии линейно зависит от параметров, ее производные лег-
ко вычисляются, например:
(16.15)
Эти два свойства: эффективная выборка по Гиббсу и эффективное вычисление 
производных – способствуют удобству обучения. В главе 18 мы увидим, что неори-
ентированные модели можно обучать посредством вычисления таких производных 
для выборки из модели.
Обучение модели индуцирует представление 
h
данных 
v
. Часто можно использо-
вать 
𝔼
h
∼
p
(
h
|
v
)
[
h
] как набор признаков для описания 
v
.
В целом ОМБ демонстрирует типичный подход глубокого обучения к графиче-
ским моделям: обучение представления в виде слоев латентных переменных в соче-
тании с эффективным взаимодействием между слоями, параметризованными с по-
мощью матриц.
Графические модели предлагают элегантный, гибкий и ясный язык для описания 
вероятностных моделей. В следующих главах мы воспользуемся им (наряду с други-
ми идеями) для описания широкого круга глубоких вероятностных моделей.

---

Глава 
17
Методы Монте-Карло
Рандомизированные алгоритмы можно отнести к двум большим категориям: алго-
ритмы Лас-Вегаса и алгоритмы Монте-Карло. Алгоритм Лас-Вегаса всегда должен 
вернуть точный и правильный ответ (или сообщить об ошибке). Такие алгоритмы 
потребляют случайный объем ресурсов, обычно памяти или времени. Напротив, ал-
горитм Монте-Карло возвращает ответ со случайной ошибкой. Величину ошибки, 
как правило, можно уменьшить, увеличив потребление ресурсов (обычно времени 
работы или объема памяти). При любом фиксированном бюджете ресурсов алгоритм 
Монте-Карло может выдать приближенный ответ.
Многие задачи машинного обучения настолько трудны, что рассчитывать на полу-
чение точного ответа не приходится. Это сразу исключает точные детерминирован-
ные алгоритмы и алгоритмы Лас-Вегаса. Вместо них мы должны обходиться прибли-
женными детерминированными алгоритмами или алгоритмами Монте-Карло. Оба 
подхода встречаются в машинном обучении повсеместно. В этой главе мы займемся 
методами Монте-Карло.