Я. Гудфеллоу, И. Бенджио, А. Курвилль

17.1. Выборка и методы Монте-Карло
Многие важные технологии, применяемые в машинном обучении, основаны на вы-
борке примеров из некоторого распределения вероятности и их использовании для 
вычисления оценки интересующей величины по методу Монте-Карло.
17.1.1. Зачем нужна выборка?
Желание произвести выборку из распределения вероятности может возникнуть по 
разным причинам. Выборка – это гибкий способ относительно дешевой аппроксима-
ции многих сумм и интегралов. Иногда мы применяем его, чтобы существенно уско-
рить хоть и осуществимое, но дорогостоящее вычисление; например, с помощью ми-
ни-пакетов мы уменьшаем полную стоимость обучения. В других случаях алгоритм 
обучения требует аппроксимировать недоступную для прямого вычисления сумму 
или интеграл, например градиент логарифма статистической суммы неориентиро-
ванной модели. Бывает также, что выборка и есть конечная цель в том смысле, что 
мы хотим обучить модель, которая будет производить выборку из обучающего рас-
пределения.
17.1.2. Основы выборки методом Монте-Карло
Если сумму или интеграл нельзя вычислить точно (например, число слагаемых экспо-
ненциально велико и, как упростить сумму, неизвестно), то часто можно аппроксими-

---

496 

 
Методы Монте-Карло
ровать ее с помощью выборки методом Монте-Карло. Идея в том, чтобы рассмат ривать 
сумму или интеграл как математическое ожидание относительно некоторого распре-
деления и 
аппроксимировать его с помощью соответствующего среднего
. Обозначим
(17.1)
или
(17.2)
подлежащую оценке сумму или интеграл, переписанные в виде математического 
ожидания, с тем ограничением, что 
p
– распределение вероятности (в случае суммы) 
или плотность вероятности (в случае интеграла) случайной величины