Я. Гудфеллоу, И. Бенджио, А. Курвилль

z
), где 
z
= 
x
– max
i
x
i
. Простые алгебраические 
выкладки показывают, что значение softmax не изменяется, если прибавить к вход-
ному вектору произвольный скаляр. После вычитания max
i
x
i
наибольший аргумент 
exp оказывается равен 0, что исключает возможность переполнения. Кроме того, по 
меньшей мере одно слагаемое в знаменателе равно 1, так что невозможна и потеря 
значимости в знаменателе, приводящая к делению на 0.
Но остается еще одна мелкая проблема. Из-за потери значимости в числителе все 
выражение может обратиться в нуль. Это означает, что если мы попытаемся вычис-
лить log softmax(
x
), вызвав функцию softmax и передав результат функции log, то 
получим неверный результат –
∞
. Поэтому мы должны вместо этого реализовать от-
дельную функцию, которая вычисляет log softmax численно устойчивым способом. 
Стабилизировать ее можно с помощью того же приема, что мы применили для стаби-
лизации вычисления softmax.
Как правило, мы не будем явно оговаривать все детали вычислений, относящиеся 
к реализации описываемых в книге алгоритмов. Разработчики низкоуровневых биб-
лиотек должны помнить о проблемах численных расчетов при реализации алгорит-
мов глубокого обучения. Большинство читателей книги может просто полагаться на 
то, что низкоуровневые библиотеки позаботились о вычислительной устойчивости. 
Библиотека Theano (Bergstra et al., 2010; Bastien et al., 2012) – пример пакета, кото-
рый автоматически обнаруживает и стабилизирует многие вычислительно неустой-
чивые выражения, часто встречающиеся в контексте глубокого обучения.
4.2. Плохая обусловленность
Под обусловленностью функции понимают скорость ее изменения в ответ на малые 
изменения аргументов. Функции, которые быстро изменяются при слабом возмуще-
нии аргументов, могут стать причиной проблем в научных расчетах, поскольку ошиб-
ки округления аргументов способны вызвать сильное изменение результата.
Рассмотрим функцию 
f
(