Я. Гудфеллоу, И. Бенджио, А. Курвилль

θ
) = –log P(
y
| 
x
) 
(6.24)
= –log 
σ
((2
y
– 1)
z
) 
(6.25)
= 
ζ
((1 – 2
y
)
z
). 
(6.26)
При выводе использованы некоторые свойства из раздела 3.10. Записав поте-
ри в терминах функции softplus, мы видим, что насыщение наступает, только ког-
да (1 – 2
y
)
z
принимает большое по абсолютной величине отрицательное значение. 
Поэтому насыщение имеет место тогда, когда модель уже получила правильный от-
вет – когда 
y
= 1 и 
z
положительно и очень велико или когда 
y
= 0 и 
z
отрицательно 
и очень велико по абсолютной величине. Если знак 
z
не тот, то аргумент функции 
softplus, (1 – 2
y
)
z
можно упростить до |
z
|. Когда |
z
| растет при несоответствующем 
знаке 
z
, функция softplus асимптотически приближается к функции, возвращающей 
свой аргумент, |
z
|. Производная по 
z
асимптотически приближается к sign(
z
), поэтому 
в пределе – когда 
z
совершенно неправильно – функция softplus вообще не сжимает 
градиент. Это свойство полезно, потому что означает, что обучение градиентными 
методами может быстро действовать в направлении быстрого исправления ошибоч-
ного 
z
.
При использовании других функций потерь, например среднеквадратической 
ошибки, потеря может достигать насыщения одновременно с насыщением 
σ
(
z
). Сиг-
моидная функция активации асимптотически стремится к 0, когда 
z
стремится к ми-
нус бесконечности, и к 1, когда 
z
стремится к бесконечности. При таких условиях 

---

Обучение градиентными методами 

163
сжатие градиента слишком мало и для обучения бесполезно вне зависимости от того, 
дает модель правильный или неправильный ответ. Поэтому максимальное правдопо-
добие почти всегда является предпочтительным подходом к обучению сигмоидных 
выходных блоков.
Аналитически логарифм сигмоиды всегда определен и конечен, поскольку сиг-
моида возвращает значения из открытого интервала (0, 1), а не из всего замкнутого 
диапазона допустимых вероятностей [0, 1]. Но в программных реализациях во из-
бежание проблем с численной неустойчивостью лучше записывать отрицательное 
логарифмическое правдоподобие в виде функции от 
z
, а не от 
y
�
= 
σ
(
z
). Если из-за 
потери значимости сигмоида обращается в 0, то взятие логарифма 
y
�
дает минус бес-
конечность.