Я. Гудфеллоу, И. Бенджио, А. Курвилль

демпфирования
(damping). Смысл ее 
состоит в том, что мы находим из уравнений индивидуально оптимальные значения 
каждого элемента 
h
ˆ, а затем производим малый сдвиг всех значений в этом направле-
нии. Не гарантируется, что при этом 
ℒ
на каждом шаге будет увеличиваться, но для 
многих моделей этот подход на практике дает хорошие результаты. Дополнительные 
сведения о выборе уровня синхронности и стратегиях демпфирования в алгоритмах 
передачи сообщений см. в работе Koller and Friedman (2009).
19.4.2. Вариационное исчисление
Прежде чем продолжить экскурс в вариационное обучение, необходимо краткое вве-
дение в важный математический инструментарий: 
вариационное исчисление
.
Многие методы машинного обучения основаны на минимизации функции 
J
(
θ
), 
т. е. нахождении входного вектора 
θ
∈ ℝ
n
, доставляющего ей минимальное значение. 
Для этого можно применить методы многомерного математического анализа и ли-
нейной алгебры к нахождению критических точек, в которых 
∇
θ
J
(
θ
) = 
0
. Но в неко-

---

542 

 
Приближенный вывод
торых случаях нам на самом деле нужно найти функцию 
f
(
x
), например если ищется 
функция плотности вероятности некоторой случайной величины. Именно это и по-
зволяет сделать вариационное исчисление.
Функция от функции 
f
называется 
функционалом
J
[
f
]. Точно так же, как мы бе-
рем частные производные функции по элементам ее векторного аргумента, можно 
брать и