Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) = 
A
–1
x
. Если матрица 
A
∈
ℝ
n
×
n
имеет спектральное раз-
ложение, то ее 
число обусловленности
равно
(4.2)
Это абсолютная величина отношения самого большого и самого маленького соб-
ственного значения. Если это число велико, то операция вычисления обратной мат-
рицы особенно чувствительна к погрешности исходных данных.

---

84 

 
Численные методы
Такая чувствительность – внутреннее свойство матрицы, а не результат ошибок окру-
гления при ее обращении. Если матрица плохо обусловлена, то уже имеющиеся погреш-
ности усиливаются при умножении на истинно обратную к ней. На практике ошибка 
увеличивается еще больше из-за погрешностей, возникающих в процессе обращения.
4.3. Оптимизация градиентным методом
Большинство алгоритмов машинного обучения в том или ином виде включает опти-
мизацию, т. е. нахождение минимума или максимума функции 
f
(
x
) при изменении 
x
. 
Обычно задачу оптимизации формулируют в терминах нахождения минимума. Для на-
хождения максимума достаточно применить алгоритм минимизации к функции –
f
(
x
).
Функция, для которой мы ищем минимум или максимум, называется 
целевой 
функцией
, или 
критерием
. Если речь идет о минимизации, то употребляют также 
термины 
функция стоимости
, 
функция потерь
или 
функция ошибок
. В этой книге 
все эти термины используются как синонимы, хотя в других публикациях по машин-
ному обучению некоторым из них приписывается специальный смысл.
Значение, доставляющее минимум или максимум функции, мы часто будем обо-
значать надстрочным индексом 
*
, например: