Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) = 0 относительно 
x
.
Хотя градиентный спуск применим только к задачам оптимизации в непрерывных 
пространствах, идея выполнения малых шагов (аппроксимирующих наилучший ма-
лый шаг) для приближения к оптимальной конфигурации обобщается и на дискрет-
ные пространства. Поиск максимума целевой функции дискретных параметров на-
зывается методом 
восхождения на вершину
(hill climbing) (Russel and Norvig, 2003).
4.3.1. Не только градиент: матрицы Якоби и Гессе
Иногда требуется найти все частные производные функции, аргументами и значени-
ем которой являются векторы. Матрица, содержащая такие частные производные, на-

---

Оптимизация градиентным методом 

87
зывается 
матрицей Якоби
, или 
якобианом
. Точнее, если имеется функция 
f
: 
ℝ
m
⟶
ℝ
n
, 
то ее матрица Якоби 
J
∈
ℝ
m
×
n
определяется как 
J
i
, 
 j
= (
∂
/
∂
x
j
) 
f
(
x
)
i
.
Иногда нас интересует также производная производной, или 
вторая производная
. 
Например, для функции 
f
: 
ℝ
n
⟶
ℝ
производная по 
x
i
от производной 
f
по 
x
j
обозна-
чается (
∂
2
/
∂
x
i
∂
x
j
)
f
.
В одномерном случае (
d
2
f
/
dx
2
)
f
обозначается также 
f
″
(
x
). Вторая производная ха-
рактеризует скорость изменения первой производной при изменении аргумента. Это 
важно, поскольку позволяет оценить, принесет ли шаг градиентного спуска ожидае-
мое улучшение. Можно считать, что вторая производная измеряет