Я. Гудфеллоу, И. Бенджио, А. Курвилль

159
стоимости заново для каждой модели. Задание модельного распределения 
p
(
y
| 
x
) ав-
томатически определяет функцию стоимости log 
p
(
y
| 
x
).
При проектировании нейронной сети вновь и вновь всплывает одна и та же проб-
лема: если мы хотим использовать градиент функции стоимости для управления ал-
горитмом обучения, то он должен быть большим и достаточно предсказуемым. Функ-
ции с насыщением (становящиеся очень плоскими) не отвечают этому требованию, 
потому что градиент становится очень малым. Во многих случаях это происходит, 
потому что функции активации, применяемые для порождения выхода скрытых или 
выходных блоков, асимптотически горизонтальны. Для многих моделей отрицатель-
ное логарифмическое правдоподобие позволяет избежать этой проблемы. Логарифм, 
входящий в эту функцию стоимости, компенсирует экспоненциальный характер не-
которых выходных блоков. Мы обсудим связь между функцией стоимости и выбо-
ром выходного блока в разделе 6.2.2.
Одно необычное свойство перекрестной энтропии, используемой при вычислении 
оценки максимального правдоподобия, заключается в том, что для типичных встре-
чающихся на практике моделей у нее, как правило, нет минимального значения. Если 
выходная величина дискретна, то в большинстве моделей параметризация устроена 
так, что модель неспособна представить вероятность 0 или 1, но может подойти к ней 
сколь угодно близко. Примером может служить логистическая регрессия. В случае 
вещественных выходных величин, если модель может управлять плотностью выход-
ного распределения (например, путем обучения параметра дисперсии нормального 
выходного распределения), становится возможным назначение очень высокой плот-
ности правильным выходам обучающего набора, и тогда перекрестная энтропия стре-
мится к отрицательной бесконечности. Методы регуляризации, описанные в главе 7, 
предлагают еще несколько способов модифицировать задачу обучения, так чтобы мо-
дель не смогла таким образом получить неограниченное поощрение.