Я. Гудфеллоу, И. Бенджио, А. Курвилль

Глава 
4
Численные методы
В алгоритмах машинного обучения обычно приходится выполнять много численных 
расчетов. Как правило, речь идет о применении методов, которые итеративно уточня-
ют решение, а не ищут его аналитически по формуле. Типичные операции – оптими-
зация (нахождение значения, которое доставляет минимум или максимум некоторой 
функции) и решение системы линейных уравнений. Но даже само вычисление мате-
матической функции с помощью цифрового компьютера может оказаться трудной 
задачей, если в выражение функции входят вещественные числа, которые нельзя 
представить точно в памяти конечного размера.
4.1. Переполнение и потеря значимости
Фундаментальная сложность выполнения непрерывных математических операций 
на цифровом компьютере заключается в том, как представить бесконечно много ве-
щественных чисел с помощью конечного числа комбинаций битов. Это означает, что 
почти для всех вещественных чисел производится некоторая аппроксимация и, сле-
довательно, возникает ошибка округления. Такие ошибки составляют проблему, 
особенно если накапливаются в результате выполнения многих операций. Это мо-
жет привести к тому, что теоретически правильный алгоритм, при проектировании 
которого не была предусмотрена минимизация накопления ошибок округления, на 
практике не работает.
Особенно неприятной разновидностью ошибок округления является 
потеря зна-
чимости
. Это происходит, когда число, близкое к нулю, округляется до нуля. Многие 
функции ведут себя качественно различно, когда аргумент равен нулю, а не малому 
положительному числу. Например, обычно мы стремимся избежать деления на нуль 
(в одних программных средах это приводит к возбуждению исключения, а других – 
к возврату специального значения «не число») или взятия логарифма от нуля (обыч-
но результат рассматривается как –
∞
и преобразуется в «не число» при попытке ис-
пользования в последующих арифметических операциях).
Еще одна разновидность численных ошибок, приводящая к катастрофическим 
последствиям, – 
переполнение
. Это происходит, когда абсолютная величина числа 
слишком велика и аппроксимируется как 
∞
или –
∞
. При последующих арифметиче-
ских операциях такие бесконечные значения преобразуются в «не число».
Примером функции, которую необходимо защищать от потери значимости и пере-
полнения, является 
softmax
. Эта функция часто применяется для прогнозирования 
вероятностей, ассоциированных с категориальным распределением. Определяется 
она следующим образом:

---

Плохая обусловленность 

83
(4.1)
Рассмотрим, что произойдет, когда все 
x
i
равны некоторой константе 
c
. Формально 
очевидно, что все компоненты результата должны быть равны 1/
n
. Но в процессе вы-
числений так может не получиться, если абсолютная величина 
c
очень велика. Если 
при этом 
c
отрицательно, то при вычислении exp(
c
) произойдет потеря значимости. 
Тогда знаменатель softmax будет равен 0, и окончательный результат не определен. 
Если же 
c
очень велико и положительно, то вычисление exp(
c
) приведет к перепол-
нению, и результат выражения опять-таки будет не определен. Обе проблемы можно 
устранить, если вычислять softmax(